MIT の研究者による新たな研究によると、一般の読者グループによるクラウドソーシングで得られた正確性の判断は、誤情報への対処においてプロのファクトチェッカーの仕事と同じくらい影響力を持ちうるという。
これは「誤情報対策ツールキット」に加わる有望な手段となりうる。
読者は、Facebook の「Community Review」プラットフォームなど、さまざまなプログラムを通じてコンテンツを評価できる。
しかし、人々に参加するための十分なインセンティブをどう与えるかについて懸念が示されている。
誤情報に対する深刻な懸念が高まる中、ソーシャルメディアのネットワークやニュース組織は、真実と虚偽を見分けるためにファクトチェッカーを雇うことが多い。しかし、ファクトチェッカーがオンライン上に流通する記事のうち評価できるのは、ごく一部に限られる。
MIT の研究者による新たな研究では、別のアプローチが示唆されている。一般の読者グループによるクラウドソーシングで得られた正確性の判断は、プロのファクトチェッカーの仕事とほぼ同等に効果的でありうるという。
「ファクトチェックにおける一つの問題は、特に妥当な期間内では、プロのファクトチェッカーが対応しきれないほど膨大なコンテンツがあることです」と、MIT スローン経営大学院の博士課程学生であり、この研究を詳述した新たに発表された論文の共著者でもあるジェニファー・アレン氏は語る。
しかし、Facebook のアルゴリズムが精査対象としてフラグを付けた200本を超えるニュース記事を検証した今回の研究は、比較的小規模で政治的に均衡の取れた素人の読者グループを用いて、ニュース記事の見出しとリード文を評価することで、この問題に対処する方法を見出した可能性がある。
「これは心強い結果でした」とアレン氏は語る。「10〜15人の集団の平均評価は、ファクトチェッカー同士の判断が相関するのと同程度にファクトチェッカーの判断と相関していました。これは拡張性の課題の解決に役立ちます。評価者はファクトチェックの訓練を受けていない一般の人々で、調査に時間をかけることなく、見出しとリード文を読むだけだったのですから。」
つまり、このクラウドソーシングの手法は広く、そして低コストで導入できる可能性がある。研究では、読者にこの方法でニュースを評価してもらうコストは、記事1本あたり約0.90ドルと見積もられている。
「オンライン上の偽ニュースの問題を解決する単一の方法はありません」と、MIT スローン経営大学院教授で、この研究の上級共著者であるデビッド・ラント氏は語る。「しかし、誤情報対策ツールキットに有望なアプローチを加えるべく取り組んでいます。」
論文「Scaling up Fact-Checking Using the Wisdom of Crowds（群衆の知恵を用いたファクトチェックの拡大）」は本日、Science Advances誌に掲載される。共著者は、アレン氏、MIT Human Cooperation Lab の研究科学者であるアントニオ・A・アレチャー氏、リジャイナ大学 Hill/Levene Schools of Business の行動科学助教授であるゴードン・ペニークック氏、そして MIT でアーウィン・H・シェル教授および経営科学・脳認知科学の教授を務め、MIT Applied Cooperation Lab の所長でもあるラント氏である。
批判的な規模の読者層
研究を実施するにあたり、研究者らは、Facebook の内部アルゴリズムがファクトチェックの必要があると特定した207本のニュース記事を用いた。これらの記事は、問題がある可能性があると判断されたため、または単に広く共有されていたり、健康などの重要な話題を扱っていたりしたため、特定された。実験では、Amazon の Mechanical Turk プラットフォームを通じて、1,128人の米国居住者が参加した。
参加者には、20本のニュース記事の見出しとリード文が提示され、各ニュース項目について全体的な正確性スコアを生成するため、記事がどの程度「正確」「真実」「信頼できる」「信用できる」「客観的」「偏りがない」「実際に起きた出来事を描写している」かという7つの質問に回答してもらった。
同時に、3人のプロのファクトチェッカーには、207本すべての記事が提示され、調査を行ったうえで記事を評価するよう依頼した。ファクトチェックに関する他の研究と同様に、ファクトチェッカーの評価は互いに高い相関を示したものの、その一致は完全からは程遠いものだった。約49%のケースでは、3人すべてが記事の事実性について正しい判定で一致した。約42%の場合は、3人のうち2人が一致した。そして約9%の場合は、3人それぞれが異なる評価をした。
興味深いことに、研究に参加した一般の読者を、民主党員と共和党員の数が同じになるようにグループ分けしたところ、その平均評価はプロのファクトチェッカーの評価と高い相関を示した。さらに、少なくとも二桁の人数の読者が関わった場合、群衆の評価はファクトチェッカー同士の相関と同程度に、ファクトチェッカーの評価と強く相関した。
「これらの読者はファクトチェックの訓練を受けておらず、見出しとリード文しか読んでいなかったにもかかわらず、ファクトチェッカーの成績に匹敵することができたのです」とアレン氏は語る。
12〜20人の読者の群衆がプロのファクトチェッカーの成績に匹敵しうるというのは、当初は意外に思えるかもしれないが、これは古典的な現象である「群衆の知恵」のもう一つの例である。幅広い応用分野において、素人の集団は専門家の判断に匹敵するか、それを上回ることが示されてきた。今回の研究は、誤情報の識別という極めて対立を生みやすい状況においても、これが起こりうることを示している。
実験の参加者は、政治知識のテストと、分析的に考える傾向を測るテストも受けた。全体として、市民的課題についてより精通しており、より分析的な思考を行う人々の評価は、ファクトチェッカーとより密接に一致していた。
「より多くの推論を行い、より知識のある人々は、ファクトチェッカーとより多く同意しました」とラント氏は語る。「そして、それは民主党員か共和党員かにかかわらず当てはまりました。」
参加の仕組み
研究者らは、この知見が多くの方法で応用できる可能性があると述べており、一部のソーシャルメディアの大手企業がクラウドソーシングを機能させるための取り組みを積極的に進めていることにも言及している。Facebook には「Community Review」というプログラムがあり、素人が報酬を得てニュースコンテンツを評価している。Twitter は独自のプロジェクト「Birdwatch」を展開し、ツイートの真実性について読者の意見を募っている。群衆の知恵は、コンテンツに公開のラベルを付けるのを支援するため、あるいはランキングアルゴリズムや、そもそも人々に表示されるコンテンツを決めるための情報として活用できる。
もちろん、研究者らは、クラウドソーシングを利用するいかなる組織も、読者が参加するための適切な仕組みを見出す必要があると指摘している。参加が誰にでも開かれている場合、クラウドソーシングのプロセスが党派的な人々によって不当に影響されてしまう可能性もある。
「誰もが参加を選択できる環境では、まだ検証していません」とアレン氏は指摘する。「プラットフォームは、他のクラウドソーシングの戦略が同等に良好な結果をもたらすと、必ずしも期待すべきではありません。」
一方、ラント氏は、クラウドソーシングを機能させるためには、ニュース記事を積極的に評価する十分な規模の人々の集団を確保する方法を、ニュース組織やソーシャルメディア組織が見つける必要があると語る。
「ほとんどの人は政治に関心がなく、物事に影響を与えようと努力するほどの関心も持っていません」とラント氏は語る。「しかし懸念されるのは、誰もが望むコンテンツを評価できるようにすると、システムを操作しようとする人々だけがそれを行うことになるという点です。それでも私にとって、熱心な活動家に圧倒されることよりも大きな懸念は、誰もそれを行わないという問題です。これは古典的な公共財の問題です。誤情報を特定することで社会全体が恩恵を受けるのに、なぜユーザーが評価を行うために時間と労力を費やす必要があるのでしょうか？」
この研究は、ウィリアム・アンド・フローラ・ヒューレット財団、ジョン・テンプルトン財団、およびオミダイア・グループの Luminate Project Limited による Reset プロジェクトによって、一部支援を受けている。アレン氏は元 Facebook 社員で、現在も Facebook に経済的利害関係を持っている。ラント氏による他の研究は、一部 Google の支援を受けている。
