私が 数週間前にホーソン効果を定量化しようとする最近の試みをまとめたこと が、同僚やコメント投稿者との有益なやり取りにつながり、まだ読んでいなかった研究を教えてもらった。歴史を振り返ると、「ホーソン効果」という語は一貫性なく使われてきたことが分かる。この語は、(a)対象者が観察されていると知ることによる行動上の反応――インパクト評価で一般に用いる定義――だけでなく、(b)研究への単なる参加に対する行動上の反応、さらには(c)実験者を喜ばせようとして対象者が行動を変えたいと思うことも指してきた。もちろん、これらの定義は緩やかに関連している。しかし、研究への行動反応の複雑さからインパクト評価に生じる推論上の課題はいくつかあり、それぞれ異なるため、この語を使う際には概念を明確にすることが重要だ。ホーソン効果は、そうした起こり得る課題の一つにすぎない。評価の妥当性を脅かす可能性のある、さまざまな行動反応を分類してみよう(実際に起こるかどうかは別として、あくまで「可能性がある」ことを強調したい)。
まず余談だが、シカゴ郊外のホーソン工場で行われた当初のホーソン研究は、精査に耐えない点が興味深い。実際のホーソン効果を示すデータは元の資料にはほとんどないことが分かった。実施された一連の研究には制御されていない変数が数多く含まれ、効果を特定することは不可能だった。 LevittとListは最初の実験群を再分析し 、次のように結論づけている。「おそらく、元のホーソン実験から得られる最も重要な教訓は、優れた物語が持つ力である。ホーソン実験をめぐる神話は、慎重なデータ分析がほとんどないまま生まれた……」それでもLevittとListは、実際のホーソン研究では確認されなかったとしても、一般にホーソン効果が起こり得ることは認めている。
さらに踏み込む研究者もいる。 2006年のある論文 の題名は「ホーソン効果は神話だが、なぜその物語は語り継がれるのか?」である。 別の論文は、「ホーソン効果」という語を避けるべきだと論じている。「その代わりに……研究者は、プロジェクト中に測定されなかったものの、研究対象の結果に影響した可能性のある心理的・社会的変数を、観察された結果に及ぼし得る影響とともに導入すべきである」。ただし、この提案には明らかな問題がある。ホーソン効果がなぜ、どのような状況で起こるのかを正確には知らないため、研究で観察できる要素を通じて説明するのは難しい。また、特定の状況でホーソン効果が生じる理由を正確に知っていたとしても、対象となる行動を評価する唯一の方法が、参加者が観察されていると知ることと同時に行われるなら、その効果を避けられないかもしれない。
1924~1933年にホーソン工場で行われた各調査で実際にホーソン効果があったかどうかにかかわらず、その後、観察された結果として対象者が行動を変えること(実社会であり、実験室に限らない)を特定した研究は数多くある。前回の投稿では、保健医療分野でホーソン効果の定量化を試みた研究を12件挙げた。この一覧は網羅的なものではない。
つまり、ホーソン効果は実在するように見える場合もある。とはいえ、この効果は評価に対する行動上の反応として考えられる唯一のものではない。以下の行動上の可能性を区別してみよう。
評価介入への参加を知ったことに対する対象者の反応。これは概念上、ホーソン効果とは異なる。観察の程度が両群で同等であっても、介入群と対照群に異なる影響を及ぼすからだ。実験的介入に参加していると知ることが行動に影響するのは、理論上十分にあり得る。この効果が生じる経路としては、日常の活動から変化することへの高揚感や、評価者を喜ばせたいという願望が考えられる。この効果を「スポットライト効果」と呼ぶことにしよう。
一方、評価介入から除外されたと知ることによって行動が影響を受ける場合――除外を知って意欲が低下することなどが考えられる――これはジョン・ヘンリー効果と呼ばれる。これは対照群にのみ当てはまる。
ホーソン効果は、観察されていると知ったことに対する対象者の反応を指すものとしておこう。この効果が生じるには通常、特定の行動を取ることで何らかの見返りがあると認識される必要がある、と私は考える。
これらの効果はすべて、参加していると知ること、あるいは観察されていると知ることへの意図的な反応である。そのため、対象者が(a)観察されているという事実、および/または(b)社会実験への参加にどのような意味を見いだすかによって左右される。 以前にも書いたように 、プラセボ効果の説明として「意味反応」を論じた際に触れたとおり、社会実験では、研究対象者が研究への参加や観察されているという事実をどう解釈するか、また、どちらかの活動に意図しない意味が付与される可能性があるかを考慮する必要がある。LevittとListも 非常によく似た点を論じており 、実験室での研究では、精査(観察)が示される向社会的行動の程度に影響すると指摘している。
最後に、ホーソン効果は観察される立場に置かれたことへの意図的な反応だが、理論上の可能性として、観察に対する別の非意図的な反応も考えてみよう。この種の効果を私は「サジェスチョン効果」と呼ぶ。 健康保険に関するある研究で指摘されている ように、調査対象者の保険加入率は、面接から数か月後に、面接を受けず行政データを通じて追跡された対象者よりもはるかに高かった。
以下の表では、これら4つの効果を区別し、考えられるメカニズムを示している。また、それぞれの効果を確実に特定するためのおそらく唯一の方法も概説する。

この分類では、実際の行動に影響を及ぼす可能性のある効果だけを扱い、報告された情報の真実性に影響する効果(実際の行動とは別のもの)は扱っていない。調査回答における社会的望ましさバイアスと呼ばれるものを最小限に抑える方法については、以前このブログの こちら と こちらで論じた。
では、これらの効果をどの程度懸念すべきだろうか。証拠は概して限られており、状況も大きく影響するため、判断は難しい。研究対象者が(a)評価に参加していると知らず、(b)観察されていることにも気づいていないなら、これらの効果はいずれも起こり得ない。インパクト評価のかなりの数、特に行政データを主に用いる大規模な政策評価は、この2つの条件を満たしている。
ホーソン効果については、測定を試みた研究が最も多いと考えられる。それでも研究数は決して圧倒的に多いわけではなく、研究の状況も非常に多様とはいえない。教師や医療従事者を観察した証拠に基づけば、対象者が観察に慣れるにつれてホーソン効果はかなり早く薄れるようであり、やや安心材料となる。
表に示した特定方法を通じて「スポットライト効果」を特定・測定しようとした研究は、私は知らない。Davidは最近、 ジョン・ヘンリー効果に関する証拠を検討し 、証拠はせいぜい乏しいと結論づけている。私が知る限り、「サジェスチョン効果」を調査した最近の論文は、上で引用したものだけだ。
「スポットライト効果」、ジョン・ヘンリー効果、「サジェスチョン効果」は本当にまれなのだろうか。どのような状況で、もしあるとすれば、これらの効果が生じやすいのだろうか。それとも、私たちが思う以上に広く存在しているものの、まだ特定されていないのだろうか。私には分からない。
ここで触れていない関連研究をご存じでしたら、ぜひお知らせください。このブログで関連研究の公開リストを管理することを検討してもよいかもしれない。
この記事は当初、 世界銀行ブログに掲載された。
著者:Jed Friedmanは、世界銀行開発研究グループ(貧困・不平等チーム)の上級エコノミスト。
画像:アフリカ系ヘブライ・イスラエル人コミュニティの少女。通称「黒人ヘブライ人」と呼ばれる。2014年6月15日、南部の町ディモナで行われたシャブオットの祝祭中に、大人の後ろに隠れている。ロイター/Finbarr O’Reilly




