インパクト評価のエビデンスが急速に拡大するなか、システマティックレビューという小規模な専門業界が生まれました。簡単に言えば、システマティックレビューは「特定の問いについて、入手可能な最良の研究を要約する」ことを目的としています。私たちは、低・中所得国における「社会的・経済的介入の有効性」に関する最良のエビデンスを総括しようとする、システマティックレビューの 3ieのデータベース で238件のレビューを見つけました。対象は、 地方分権型の森林管理が森林減少に及ぼす影響 から マイクロクレジットが女性の家計支出に対する管理権に及ぼす影響まで、多岐にわたります。
しかし、こうしたシステマティックレビューは、実際にはどれほど決定的なものなのでしょうか。過去2年間、低・中所得国の子どもの学習成果を改善する方法という同じテーマについて、複数のシステマティックレビューがあることに気づきました。実際、6件も見つかりました。もちろん、これらのレビューは厳密には同じではありません。ランダム化比較試験（RCT）のみを含むものもあれば、準実験研究を含むものもあります。学習成果の改善方法だけを調べるものもあれば、学習成果と就学機会の両方を扱うものもあります。アフリカの研究だけを含むものも1件あります。しかし、いずれも学習成果を改善するものを特定しようとしている点で共通しています。
6件の研究は以下のとおりです。
サハラ以南アフリカにおける効果的な教育介入の特定：厳密なインパクト評価のメタ分析（Conn、2014年）
開発途上国における学校資源と教育成果：1990～2010年の文献レビュー（Glewweほか、2014年）
開発途上国における教育と学習の課題（Kremerほか、2013年）
すべての子どもに質の高い教育を？開発途上国の教育で何が有効か（Krishnaratneほか、2013年）
開発途上国の小学校における学習の改善：ランダム化実験のメタ分析（McEwan、2014年）
開発途上国における教育成果の改善：厳密な評価から得られる教訓（Murnane & Ganimian、2014年）
これらを合わせると、膨大な量の教育研究を網羅しています。開発途上国で何らかの介入が学習成果に及ぼす影響を測定した研究を227件特定しています。そのうち134件はRCTです。世界各地の研究があり、中国、インド、チリ、そして、 お察しのとおり 、ケニアの研究が多数を占めます。しかし、レビューの要旨や序論を読むと、重複もある一方で、かなりの相違もありました。あるレビューは教育方法への介入が最も効果的だと強調し、別のレビューは情報通信技術への介入がテストの得点を最も高めたとし、さらに別のレビューは教材を最も重要なものとして取り上げていました。
何が起きているのでしょうか。 最近の論文で、その理由を探っています。
構成の違い。同じテーマを扱っていても、これらの研究が対象とする論文は同じではありません。実際、近いとは言えません。6件のレビュー全体で学習成果を扱った研究は計227件ありますが、以下の図によると、6件すべてに含まれる研究はわずか3件です。採用基準（RCTのみ、アフリカのみ、など）に違いがあるため、これは驚くことではないかもしれません。そうした研究の一部は、質が最高水準ではないのかもしれません。しかし、レビューの過半数（4件、5件または6件）に含まれる研究は、わずか13件です。全研究のうち159件（70％！）は、1件のレビューにしか含まれていません。そのうち74件はRCTであり、より質が高い可能性があるため、より多くのレビューに含まれるべきでしょう。（もちろん、質の低いRCTも、質の高い非RCTもあります。これはあくまで一例です。）最も網羅的なレビューでさえ、研究の半数にも満たない数を扱っています。
より簡潔な分析として、サハラ以南アフリカで1990年から2010年までに実施された、初等教育段階の学習成果を扱うRCTだけを見ると（これは基本的に6件のレビューの採用基準の共通部分です）、該当する研究は計42件で、個々のシステマティックレビューに含まれる数の中央値は15件、約3分の1です。つまり、これらのレビューが調べる研究には、意外なほど重複がありません。
分類についてはどうでしょうか。レビューによって、同じ研究の分類も異なります。たとえば、ケニアの女子生徒に成績優秀者向け奨学金を提供するプログラムは、学校納付金の減額、現金給付、生徒へのインセンティブ、あるいは成績に応じたインセンティブとして分類されています。同様に、インドでコンピューター支援学習を提供したプログラムは、「コンピューターまたはテクノロジー」あるいは「教材」と分類されています。
結論の違いを生み出しているのは何でしょうか。研究の構成でしょうか、それとも分類でしょうか。各レビューから肯定的な推奨を1つ選び、その推奨の根拠となった研究を調べました。次に、その研究がほかのレビューにいくつ含まれていたかを数えました。以下の図が示すように、その割合には大きな幅がありますが、中央値は33％です。つまり、別のレビューでは、あるレビューの主要な推奨を支える研究の3分の1しか含まれていない可能性が高いのです。したがって、研究の構成は非常に重要です。たとえば、McEwanがコンピューターの効果をほかの研究者よりずっと大きく見いだしているのは、ほかのレビューに含まれる、彼の結果を裏付ける研究が平均でわずか3分の1だからです。
同時に、分類も一因となっています。あるレビューは、テストの得点を改善する最良の方法の1つとして教材の提供を挙げています。しかし、著者らが「教材」と呼ぶ主要な研究のいくつかを、ほかの著者は「コンピューター」または「教育技術」と分類しています。それらも確かに教材ではありますが、すべての教材が同じように作られているわけではありません。
ばらつきは 内側のほうが大きいのです。システマティックレビューでは、介入を「インセンティブ」「情報提供」「コンピューター」などのカテゴリーにまとめる傾向があります。しかし、こうしたカテゴリーのいずれかが平均して最も高い効果をもたらすと言うと、カテゴリー内のばらつきが、カテゴリー間のばらつきと同じくらい、あるいはそれ以上に大きいことが見えにくくなります。 McEwan が、コンピューター介入は平均して最も高い効果をもたらすと見いだしたとき、同じ介入カテゴリーに成果の芳しくない事例も数多く含まれていることを忘れがちです。以下に示す彼の論文のフォレストプロットを見ると分かります。（ ペルー や ウルグアイの「One Laptop Per Child」には、耳が痛い話でしょう。一方、 中国でノートパソコンを提供したプログラムには当てはまりません。いや、介入の下位カテゴリーの中にも異質性があるのです！）実際、McEwanの論文にある11の介入カテゴリーのうち5つでは、カテゴリー内の効果量の標準偏差が、レビュー全体のサンプルにおける効果量の標準偏差より大きくなっています。さらに別の5つでは、カテゴリー内の標準偏差が全サンプルの標準偏差の半分を超えています。これは、介入カテゴリーをより細かく集約した水準で有効性を報告すべきだという論拠になります。
出典： McEwan（2014年）
ここから何が分かるでしょうか。第一に、網羅的な検索に投資する価値があります。検索を再現する価値さえあるかもしれません。第二に、メタ分析（非常に体系的ですが、一部の研究を除外します）とナラティブレビュー（あまり体系的ではありませんが、多くの研究を含められ、介入カテゴリーのどの要素が機能するか、あるいは機能しないかを検討できます）など、システマティックレビューの方法論を組み合わせることが有益かもしれません。第三に、介入カテゴリーの集約度を低く保ち、カテゴリーが実際に役立つものとなるようにしましょう。
最後に、そしておそらく最も重要なこととして、システマティックレビューの結論は割り引いて受け止めましょう。推奨される介入には、非常に高い確率で確かなエビデンスがあります。しかし、最良の介入カテゴリーとは限りません。多くのエビデンスがレビューに含まれなかった可能性があるからです。
ところで、6件すべてのシステマティックレビューに含まれた、勝ち残りの3研究とは何でしょうか。
多くの子どもが取り残されているのか？ケニアにおける教科書とテストの得点（Kremer、Glewwe & Moulin、2009年）
学校投入の回顧的分析と前向き分析：ケニアのフリップチャートの事例（Glewwe、Kremer、Moulin、Zitzewitz、2004年）
学習へのインセンティブ（Kremer、Miguel & Thornton、2009年）
明日は、レビュー全体を通じて最も一貫して推奨されている介入の種類について、簡単に書く予定です。
今後の課題。どなたか、私たちのシステマティックレビューを対象にしたシステマティックレビューを、どなたか実施していただけませんか？
この記事は、当初、 世界銀行のDevelopment Impactブログに掲載されました。掲載されたことは、世界経済フォーラムが見解を支持することを意味しません。
アジェンダの最新情報を受け取るには、 週刊ニュースレターにご登録ください。
著者：Davidは、世界銀行アフリカ地域担当チーフエコノミスト室のシニアエコノミストです。Anna Popovaは、世界銀行アフリカ地域担当チーフエコノミスト室のリサーチアナリストで、同室で人間開発介入のインパクト評価に取り組んでいます。
画像：2014年11月5日、首都ナイロビの西にあるケニア高地のナンディ・ヒルズの農園で、女性が茶葉を摘んでいる。REUTERS/Noor Khamis。
