投資商品の広告を見たことがある人なら、「過去の実績は将来の成果を保証しない」という表現を耳にしたことがあるでしょう。当然、保証はされません。それでも企業、政府、組織、個人は未来を予測しようと努めています。予測が当たる可能性を高めるため、政府の研究機関である情報高等研究計画活動（IARPA）は、世界の出来事を予測する手法を考案し、予測の技術を測定・向上させるため、大学チーム間の年次コンテストを後援してきました。
ウォートン校のマーケティング学教授、バーバラ・メラーズは、そうしたチームの一つを率いてきました。同チームはコンテストで3年連続優勝しました。
Knowledge@Whartonとのこのインタビューで、メラーズはチームの調査結果、優れた予測者に共通する特徴、そして最も優れた予測者をさらに後押しする方法について語っています。
以下は、会話を編集した transcript です。
知性ある人々を集める：
私は、情報機関の研究部門であるIARPAが後援する複数年にわたる予測コンテストに参加してきました。IARPAは5つの大学チームを後援し、世界各地の出来事に関する予測を集約して測定する最良の方法を考案するため、チーム同士が競い合いました。対象には軍事紛争、選挙、パンデミック、難民の流れ、さらには商品価格なども含まれます。
「米国政府の場合、政策立案者は数十億ドル、数千人の命に関わる決定に直面します。こうしたケースでは賭けられているものが非常に大きいため、ごくわずかな優位性でさえ大きな進歩です。」
私たちが行ったのは、ブログ、専門家団体、研究センターなどから何千人もの予測者を募り、1年間にわたって予測してもらうことでした。質問は2週間ごとに提示されました。参加者はウェブサイトにログインして予測を入力し、希望する頻度で戻ってきて予測を更新しました。
予測を改善するには何をすればよいのか、私たちにはよく分かっていませんでした。そこで自然な流れとして、実験を行いました。特に効果があった要因は3つです。一つは人々への訓練です。1時間の確率トレーニング・モジュールを作成したところ、予測が改善するようでした。個人で取り組ませるのではなくチームを組ませたことも予測の改善につながりました。交流、情報共有、根拠をめぐる議論が正確性を高めました。
最後に、追跡調査が予測の正確性を大きく高めることも分かりました。毎年末、何千人もの予測者のうち上位2%を選び、エリートグループにまとめて「スーパー予測者」の称号を与えました。こうした人々は、私たちが想像していた以上にさまざまな面で正確性を高めました。交流を増やし、より多くの情報を探しました。その結果は驚くべきものでした。実際、彼らのおかげでコンテストに3年連続で優勝できました。
より良い予測を行う：
誰もが予測に頼っています。そして、このコンテスト以前に比べ、予測について多くのことが分かってきました。ビジネスの世界では、研究に投資すべきか、新しい市場に進出すべきか、消費者が何を望むか、どの製品拡張を好むか、製品がいつ出荷可能になるかが関心事です。
企業は、このコンテストから得られた知見を活用して、より良い予測を行えると思います。すべてが必ずしも容易に一般化できるわけではありませんが、予測を改善すると分かってきた心理学的・統計学的知見は数多くあります。
意外な発見：
このコンテストでは、実に多くのことに驚きました。訓練モジュールが効果を発揮したことにも驚きました。判断の正確性に何らかの効果をもたらすモジュールを設計するのは難しいものです。
チームのほうが独立した予測者よりうまく機能したことにも、とても驚きました。私は『群衆の知恵』を読んで、独立した予測者のほうが成果を上げ、誤差は平均化されると思っていました。しかし、情報共有や根拠について話し合う利点は、独立性の利点を上回りました。つまり、私たちの場合はチームのほうがうまく機能しました。
スーパー予測者の効果には本当に驚きました。学校で子どもたちを能力別に分け、優秀な子どもたちを一緒にするようなものです。そこから生まれた相乗効果は驚異的でした。
ベストプラクティス：
チームが非常にうまく機能した理由はいくつかあると思います。その一つは、オンラインで活動していたことです。オンラインでは、支配的ないじめっ子になりにくいものです。参加者は都合のよいときにログインしました。そのため、やり取りは順番に進みました。集団思考が起きやすいと思われる、同時進行の形式ではありませんでした。予測者たちは互いをとても尊重しており、それも良い仕組みの重要な要素だと思います。
「コメンテーターや専門家、達人、スペシャリストが、将来何が起きるかを予測しています。しかし、その多くはあまりに曖昧で、到底、検証方法を考え出すことができません。」
優れた予測の価値：
企業は予測を改善できると思います。独自のスーパー予測者集団をつくることもでき、将来をより良く予測できます。より良いというのは相対的なものです。つまり、次の人より優れていればよいのです。
ここで完璧を求めているわけではありませんし、当然、完璧にはなりません。米国政府の場合、政策立案者は数十億ドル、数千人の命に関わる決定に直面します。こうしたケースでは賭けられているものが非常に大きいため、ごくわずかな優位性でさえ大きな進歩です。
私たちの研究が示唆することの一つは、優れた予測には心理学と統計学の両方が関わるということです。人を理解することと、統計分布や統計情報の側面を理解することの組み合わせです。複数の予測を集約するアルゴリズムをより良く設計する方法が、今では分かっています。また、どのような条件や環境が個々の予測者の力を最大限に引き出すのかについても、多くのことが分かっています。
予測を検証する：
私たちは毎日、予測を耳にします。コメンテーターや専門家、達人、スペシャリストが、将来何が起きるかを予測しています。しかし、その多くはあまりに曖昧で、到底、検証方法を考え出すことができません。「今後2週間でイエメンの紛争が増加する可能性がある」といった発言や、「バグダッドの状況は、改善する前に悪化するだろう」といった発言です。あるいはそのようなものです。これらは質問でも、透視能力テストに合格するような発言でもありません。後になって誰が正しく誰が間違っていたかを判断できないのです。
私たちはこうした人々に助言や洞察を求めています。しかし、曖昧な予測から得られるものは実にわずかです。改善するには、予測の成績を記録し続けることが必要だと思います。検証できる形で予測を示さなければなりません。そうすれば、誰が正しく誰が間違っていたか、そしてどうすれば改善できるかが分かります。
「予測の正確性と相関する個人差について、少しずつ分かってきました。ですから、最も優れた予測者がどのような人々かについても、もう少し語れるようになりました。」
主なポイント：
私たちは、自分たちの主張に経験的な根拠を持てるという恵まれた立場にあります。データや実験に基づいて、何が有効かを把握しています。より良い予測を行うための書籍や手法、技術の多くは、実際には検証されていません。そのため、経験的な側面は、私たちのプロジェクト独自のものだと思います。
何が予測を改善するのかについて、多くを学びました。たとえば、予測を統計アルゴリズムで集約する調査形式は、予測市場を上回る成果を上げることが分かりました。市場で取引している人々の確率を測定し、さらに「事象Xが起こる確率はどれくらいだと思いますか」と尋ねると、価格と確率の両方を組み合わせることで予測の正確性を高められることも分かりました。経済学的な観点から見ると、どちらも意外な結果です。
予測の正確性と相関する個人差について、少しずつ分かってきました。ですから、特にこの地政学的な文脈において、最も優れた予測者がどのような人々かについても、もう少し語れるようになりました。
意外ではありませんが、彼らは総じて頭が良く、知識が豊富で、政治に関する知識も多い傾向があります。しかし、積極的に開かれた思考をする人でもあります。より分析的で、科学的な世界観を持ちやすい傾向があります。問いを複数の視点から捉え、複数の参照クラスを用いる傾向もあります。確率をより細分化し、ニュアンスを持たせて使う傾向もあり、20%や80%ではなく17%や83%と答える可能性が高いのです。
そして、予測を細かく示すことには情報が含まれると分かりました。予測を10%、20%、30%、40%といった最も近い10%単位に丸めると、ほとんどの予測者は成績が悪化します。これは、その細かさに価値あるシグナルが含まれており、単なるノイズではないことを示唆しています。
今後の計画：
IARPAのコンテストは、あと1か月の6月2日に終了します。しかし、私たちの予測活動はそこで終わりません。グッド・ジャッジメント・プロジェクトはこの秋、一般参加のコンテストを開始します。検証したい仮説はたくさんあります。多くのボランティアが必要です。ウォートン校に関係する方々にもぜひ参加していただきたいと思います。
関心をお持ちの方、または関心を持ちそうな方をご存じの方は、詳しい情報を得るためにgoodjudgmentproject.comをご覧ください。参加していただければ、心から感謝し、うれしく思います。
ペンシルベニア大学ウォートン校のオンライン研究・ビジネス分析誌Knowledge@Whartonの許可を得て転載（http://knowledge.wharton.upenn.edu）。掲載は、世界経済フォーラムが見解を支持することを意味しません。
アジェンダの最新情報を 受け取るには、週刊ニュースレターに登録してください。
著者：バーバラ・メラーズはウォートン校のマーケティング学教授です。
画像：2012年5月11日、東京の証券会社の外で株価ボードを見る男性。REUTERS/Toru Hanai。
