貧困と不平等に関するデータの入手可能性が限られていることは、世界銀行グループの二つの目標、すなわち極度の貧困の撲滅と繁栄の共有の促進をモニタリングするうえで、大きな課題となっている。最近完了した調査によると、約100カ国では、過去10年間に利用できる貧困推計値は最大でも二つにとどまる。さらに悪いことに、その約半数では、貧困推計値が一つしかないか、まったくなかった。* 貧困データの頻度を高めることは、世銀の二つの目標を効果的にモニタリングするうえで不可欠である。
こうした背景から、「ビッグデータ」の科学が潜在的な解決策をもたらすものとして、しばしば注目されている。この分野の有名な例が「Google Flu Trends(GFT)」で、Googleの検索結果を用いてインフルエンザの流行を予測する。この技術は予測を非常に迅速に生み出すことが実証されており、費用対効果も極めて高い。生データの量が急速に増加し、それに伴ってコンピューター科学が進歩したことで、過去には夢にも思わなかった方法で、ほかの種類のデータ不足も補えるようになった。
しかし、最近の記事はいくつかの懸念を提起している。その一つは、「ビッグデータ」がいわゆる「酔っぱらいの探し物」あるいは「街灯効果」に陥りうるということだ。おおよそ次のように説明できる。
酔っぱらいが街灯の下で、なくした鍵を探している。警官が「何をなくしたのですか」と尋ねる。男は「鍵です。でも見つからない」と答える。警官が「どこで鍵をなくしたか覚えていますか」と尋ねると、男は「ええ、あそこです」と答える。困惑した様子の警官が「それなら、なぜあそこで探さないのですか」と尋ねる。酔っぱらいは「明かりがないからです」と答える。
統計学者は、人々が探しやすい場所で答えを探すという、観察バイアスの一種を説明するために、この「酔っぱらいの探し物」を用いる。「ビッグデータ」の科学は、大量のデータに容易にアクセスでき、分析に必要な高性能ソフトウェアや計算能力があれば、いかに大きな進歩を遂げられるかを示している。しかし、「ビッグデータ」が私たちの最も関心のある問いに関する知見を生み出す保証はあるのだろうか。それとも「ビッグデータ」とは、単に容易に収集・集約できる情報を指すのだろうか。発展途上国でインターネット接続が近年改善しているとはいえ、貧困層の多くは依然としてインターネットにアクセスできず、必要なコンピューターリテラシーも持たない。「酔っぱらいの探し物」は、貧困推計や分析に「ビッグデータ」を用いることへの現実的な懸念を示している。
ティム・ハーフォードは、フィナンシャル・タイムズでこの種の興味深い例を挙げている。 この種の興味深い例を フランクリン・デラノ・ルーズベルトが大統領選挙に勝つかどうかを予測するため、雑誌『The Literary Digest』は、有権者の4分の1にあたる1,000万人への到達を目指し、大規模な郵送世論調査を実施した。約240万件の回答を処理した後、同誌は共和党候補のアルフレッド・ランドンが勝つと予測した。一方、世論調査の先駆者ジョージ・ギャラップが実施した、はるかに小規模な調査は、フランクリン・ルーズベルトの勝利を予測した。この勝負で誰が勝ったかは、誰もが知っている。
なぜギャラップは勝ったのか。ギャラップの標本は、共和党、民主党、無所属の有権者の分布を反映するよう慎重に設計されていた。一方、『The Literary Digest』は、自動車登録簿と電話帳から作成した名簿に載る人々に調査票を郵送した。これは富裕層を不均衡に代表する標本だった。さらに悪いことに、ランドン支持者のほうが調査に回答しやすいことが判明した。この二つの標本抽出上の特異性が組み合わさり、選挙の勝者予測に大きな偏りが生じた。
この話の教訓は、適切な標本抽出を行わなければ、調査から導かれる統計はどれも偏る可能性があるということだ。標本の規模を大きくすれば標本誤差は減るかもしれないが、偏りはなくならない。大規模でも偏った標本は「精密に間違った統計」を生む。つまり、標本誤差は極めて小さいものの、それでも偏りを反映した統計である。
「ビッグデータ」の手法が機能するかどうかは、データが関心対象となる母集団の分布を反映しているかどうかにかかっている。顧客データベースを用いた分析は、多くの場合それが大規模であり、小売業者が最も関心を持つ母集団、すなわち将来の顧客である可能性が高いため、小売業者にとって非常に有用だろう。しかし、インターネットを通じて収集されたり、データクラウドに集約されたりした「ビッグデータ」は、貧困推計や分析に特に有用とは限らない。データ提供者に、私たちが最も関心を持つ貧困層が含まれていない可能性があるからだ。貧困層がデータに含まれていたとしても、富裕層を記述する観測値の相対的な頻度は貧困層より高い可能性があり、そのため、この種のデータの単純平均は富裕層寄りに偏る。
「ビッグデータ」の課題に対処するため、今では「ビッグデータ」手法の利便性と「スモールデータ」手法の統計的厳密さを組み合わせることが提案されている。Lazerほか(2014年)はこれを「すべてのデータ革命」と呼ぶ。この記事は、米国疾病予防管理センター(CDC)が従来型の「スモールデータ」手法で収集した情報を用いて、GFTの誤差をうまく低減した方法を示している。米国国勢調査局と労働省も、「ビッグデータとスモールデータの融合」を最善の形で実現するための複数のアイデアを提案している。
世界銀行グループも現在、貧困推計のために「ビッグデータ」と「スモールデータ」を組み合わせるさまざまな取り組みを提案している。SWIFT(Survey of Well-being via Instant and Frequent Tracking)はその一つだ。典型的な「スモールデータ」の取り組みと同様、SWIFTは関心対象となる母集団を代表する標本からデータを収集する。典型的な「ビッグデータ」手法と同様、SWIFTは一連の数式・アルゴリズムと最新のITS技術を活用し、データ収集と貧困推計にかかる時間と費用を削減する。たとえば、収集に時間のかかる消費や所得のデータから貧困を推計するのではなく、容易に収集できる貧困相関指標から数式を用いて推計する。さらに、その数式をSWIFTのデータ管理システムに組み込むことで、相関指標は即座に貧困統計へと変換される。データ収集と処理にかかる時間をさらに短縮するため、SWIFTはデータクラウドに接続したコンピューター支援個別面接(CAPI)を使用し、可能であれば携帯電話によるデータ収集方式を採用する。
「ビッグデータ」科学はまだ初期段階にあり、この分野の革新は目にもとまらぬ速さで展開している。こうした革新は近い将来、まったく新しい解決策をもたらすかもしれない。しかし、「ビッグデータ」手法の利用に伴うリスクを認識することは非常に重要だと、私は強く信じている。「ビッグデータ」を用いて分析を行う前に、基礎となるデータが関心対象の母集団を正確に捉えているかを慎重に確認しなければならない。そうでなければ、私たちは単に「酔っぱらいの探し物」にはまり込んでしまうかもしれない。
*Hiroki Uematsu、Umar Serajuddin、Christina Wieser、Nobuo Yoshida(2014年)「貧困と繁栄の共有のモニタリング:発展途上国のデータ」、世界銀行、ミメオ。
この記事は当初、 世界銀行のブログ「Let’s talk development」で公開された。掲載は、世界経済フォーラムが見解を支持することを意味しない。
フォーラムの最新情報を受け取るには、Agenda 週刊ニュースレターに登録してください。
著者:Nobuo Yoshidaは、世界銀行の貧困削減・公平性グループ(PRMPR)の上級エコノミストである。
画像:ナイジェリアの子どもが、2007年4月14日、ラゴス中心部のイサレ・エコ地区で開放下水溝のそばにしゃがんでいる。ロイター。
