開発途上国では、インパクト評価のエビデンスが増えている。それを示す証拠が必要なら、次の2つを挙げよう。まず、ここ数年に公表された複数のシステマティックレビューをもとに、学習成果の向上に関するインパクト評価の累積件数（公表日順）を、ある 同僚 と私がまとめたものだ。次に、最近のシステマティックレビュー（IEG 2013）に基づく、母子死亡率の低下に関するインパクト評価の累積件数である。エビデンスは急速に増えている。
こうした研究の主な目的の一つは、政策に影響を与えることだ。（ Langou & Weyrauch (2013) が述べているように、これは社会科学が「ここ数世紀」にわたって掲げてきた目標の一つでもある。）政策に影響を与える手段は数多くあるが、非常によく使われるのが「政策ノート」だ。私が執筆または査読したインパクト評価の提案のほぼすべてで、政策ノートは成果普及計画に盛り込まれていた。その考え方は単純だ。政策立案者には学術論文を1本読む時間さえなく、まして何本も読む余裕はない。そこで、主な結果と政策への示唆をまとめた、専門用語を避けた短い文書を作成する。
実際に効果はあるのだろうか？
政策ノートを作成すると約束し、自らも読んできた私は、こうしたノートに効果があるかを検証する実験（公表済みの研究、 先行する非公開制限のない報告書）に出会い、興味をそそられた。Massetら（2013年）は、開発機関のメーリングリストに登録されていた7万5,000人に参加を呼びかけるメールを送った。ベースライン調査に回答したのは約1％だった。したがって外的妥当性の観点から見ると、これは極めて選抜された人々の集団であり、このテーマに強い関心がある人や、時間の機会費用が低い人が多く含まれている可能性がある。それでも、この実験はインパクト評価の結果を政策に伝える方法について、興味深い論点を提示していると思う。
参加者807人（1％）には、次のいずれかがメールで送られた。（1）政策ブリーフ、（2）開発組織の所長による意見文を添えた政策ブリーフ（権威への訴え）、（3）同じ意見文を添え、今回は研究員の名義とした政策ブリーフ（純粋な意見）、（4）プラセボの政策ブリーフ（つまり、まったく無関係なテーマを扱い、調査対象のテーマについての考えに影響する可能性が低いブリーフ）。参加者には7日以内に追跡調査に回答するためのリンクも送られた。その後3カ月にわたり、追加の追跡調査への回答を求めるメールが2回送られた。
5ページの 対象となったブリーフ は、次のテーマに関するシステマティックレビューを要約していた。 「子どもの栄養状態の改善を目的とする農業介入の有効性」 このレビューの主な知見は3つで、Massetらの実験では次のように要約されている。
「食料を基盤とする農業介入は、対象とする食料の生産と消費を効果的に増やす。また、ビタミンAの摂取量増加につながることを示すエビデンスもある。」
「こうした介入が子どもの栄養状態（身体計測値）に及ぼす効果を示すエビデンスはない。」
「このエビデンスを評価した研究は少なく、方法論も不十分なことが多い。」
介入群向け政策ブリーフ
[リンク]
プラセボ政策ブリーフ
[リンク]
ベースライン時と追跡調査時に、参加者は、特定の介入が子どもの栄養状態の改善に有効だと思うか、また、その介入のエビデンスがどれほど強いと思うかを尋ねられた。「わからない」という選択肢もあった。政策ブリーフに含まれた4つの介入（例：栄養強化作物と家庭菜園）に加え、無関係な4つの介入（例：現金給付と駆虫）についても質問された。
最初の追跡調査では約50％、最終追跡調査（3カ月後）では約70％が脱落した。これも結果の解釈を難しくし、説得力のある結果というより興味深い結果にとどめる要因となる。ただし著者らは、介入群間で脱落率に差がなかったことを示している。調査に残った人は脱落した人より、対象となった介入について意見を持っている割合がやや高かったようだ（例：栄養強化作物のエビデンスの強さについて意見があったのは、調査継続者の49％に対し脱落者では43％）。また、ベースライン時に意見があった人の間では、介入が有効だと考える割合も高かった。ただし、こうした差はいずれも統計的に有意ではない。
差の差回帰分析を用いた結果、実験によって、検討対象のテーマに関するエビデンスの強さについて何らかの意見を持つ参加者の割合が有意に増えたことが分かった。また、栄養強化については、介入そのものの有効性に意見を持つ可能性も高まった。（駆虫など、無関係な介入への影響はなかった。）介入群間に有意差は見られなかった。
ブリーフが人々の考えを促しただけでなく、実際にどう変えたかを見ると、影響があったのは栄養強化だけだ。参加者はエビデンスの強さに対する評価をわずかに引き下げ、3つの介入群のうち2群では、栄養強化そのものの有効性に対する評価も下方修正した。このテーマに影響が集中したのは意外ではない。政策ブリーフの1ページ目で政策的含意として取り上げられていた介入は栄養強化だけで、「栄養強化は役立つ可能性があるが、まだ有効性が証明された解決策ではない」と記されていた。この限定的な効果は、ブリーフを読む前に対象テーマについて明確な意見を持っていなかった参加者によるものだ。
つまり著者らによれば、このブリーフは、テーマについて意見を持っていなかった人が、ブリーフの知見に沿った意見を形成する助けとなった。
政策ノートの内容は一様ではない
脱落率を下げたうえで、さまざまな種類のブリーフや他の伝達手段を使い、同様の実験を行うのをぜひ見てみたい。政策ノートのシリーズをいくつか簡単に見てみた。世界銀行の From Evidence to Policy、 Finance & Private Sector Development Impact、 DIME Briefs、貧困行動ラボの Policy Briefcase シリーズ、3ieと開発研究所（Institute for Development Studies）の共同による Evidence Matters シリーズ、そして私の仕事から 単独で作成されたノート を取り上げた。以下の例から分かるように、どれも2～5ページで、共通点は多い（半数ほどには魅力的な写真があり、多くは文章量が多い）。一方、情報の提示方法はかなり多様だ。グラフや図で結果を示すものもあれば、主な知見を強調するものもあり、どちらもしないものもある（熱心な読者向けだ）。政策ノートの中には、弱い知見を示すものもある（上記の実験の対象のように、「エビデンスを検討したが、十分なものはなかった」）。一方で、「現金給付は栄養状態を改善する」「現金給付の効果はプログラム終了後も続く」といった、明確な知見を示すものもある。
どのデザインなら、人々が結果を読み、共有し、理解し、信じる可能性が高まるのだろうか。実のところ、分かっていない。
[リンク]
[リンク]
[リンク]
[リンク]
[リンク]
[リンク]
一方、「これらのモデルのうち、どれが有効か」という問い自体が間違っているのかもしれない。 約500人の政策関係者を対象とした調査 （政府、非政府組織、民間部門、メディアなど）では、2009年から2011年にかけて中南米と南アジアで実施され、政策を支える情報交換手段としての有用性について、政策ブリーフはリストのほぼ最下位に位置づけられた。
開発研究コミュニティとして、厳密なインパクト評価についてこうしたブリーフを書き続けるのであれば、その成果物の有効性についても厳密な研究を行うことが有益だろう。また、次の対面イベントや対面で助言を行う際には、政策ブリーフを持参してほしい。
この記事は当初、 世界銀行の「Development Impact」ブログで公開された。公開されたことは、世界経済フォーラムがその見解を支持することを意味しない。
アジェンダの最新情報を受け取るには、 週刊ニュースレターに登録してください。
著者：デイビッドは、世界銀行アフリカ地域担当チーフエコノミスト室の上級エコノミスト。
画像：2012年8月30日、首都ルアンダの非公式居住地を、赤ん坊を背負った女性が眺めている。ロイター。
