過去15年間で、インターネット、ソーシャルメディア、科学機器、スマートフォン、監視カメラなど、さまざまな情報源から得られるデジタルデータの量と、それを処理するコンピューター技術が爆発的に増加した。いわゆる「ビッグデータ」は、科学、技術、医療に重要な進歩をもたらすことは間違いない。しかし、誤用や乱用があれば、深刻なリスクも生じる。
すでに、インターネット検索エンジン、機械翻訳、画像ラベル付けなどの主要な革新は、膨大なデータセットに機械学習技術を適用することで実現してきた。近い将来、ビッグデータは政府の政策立案、社会福祉プログラム、学術研究を大幅に改善する可能性がある。
しかし、データの量が多いことは、質の高いデータの代わりにはならない。例えば、最近の論文がNatureで報告したところによると、米国の選挙世論調査員は、人口を代表するサンプルの確保に苦慮している。法律上、固定電話にしか電話をかけられない一方、米国人の携帯電話利用は増えているためだ。また、ソーシャルメディアでは政治的意見を数多く見つけられるものの、それらも有権者の意見を確実に代表しているとは限らない。実際、政治に関するツイートやFacebookの投稿のかなりの割合は、コンピューターが生成したものだ。
近年、偏りのあるデータセットに基づく自動プログラムが、数々のスキャンダルを引き起こしている。例えば昨年4月、ある大学生がGoogle画像検索で検索した「職場にふさわしくない髪型」では、検索結果の大半が黒人の写真だった。学生が最初の検索語を「職業的」に変えると、Googleは白人の写真を主に表示した。しかし、これはGoogleのプログラマーの偏見による結果ではなく、インターネット上で人々が写真に付けたラベルを反映したものだった。
この検索結果を採用や昇進の判断に用いるビッグデータプログラムがあれば、「職場にふさわしくない髪型」の検索結果に写る人々に似た黒人候補者を不利に扱い、従来からある社会的偏見を温存するおそれがある。これは単なる仮定上の可能性ではない。昨年、ProPublicaの調査は、有罪判決を受けた犯罪者の量刑を決めるために広く使われている「再犯リスクモデル」の手法が、黒人被告が将来犯罪を犯す可能性を体系的に過大評価し、白人被告についてはそのリスクを過小評価していることを示した。
ビッグデータのもう一つの危険は、データを操作できることだ。自分たちに影響する重要な判断にデータセットが使われると人々が知れば、自分たちに有利になるよう結果を操作する動機が生まれる。例えば、生徒のテストの点数で評価される教師は、「テスト対策」に偏った授業をしたり、さらには不正をしたりする可能性が高まる。
同様に、大学をUS News and World Reportsのランキングで上位に押し上げようとする大学幹部は、学業を犠牲にして豪華なジムに投資するなど、賢明でない決定をしてきた。さらに悪いことに、マウント・セント・メアリーズ大学が「在学継続率」を高めようとして、入学後数週間のうちに成績の振るわない学生を特定して退学させるという取り組みのように、極めて非倫理的な決定も行われてきた。
Googleの検索エンジンでさえ例外ではない。世界有数のデータサイエンティストが監督する膨大なデータに支えられているにもかかわらず、その検索結果は「検索エンジン最適化」や、「Google爆弾」「スパムデキシング」など、特定の利益に奉仕する手法による操作の影響を受けやすい。
第三の危険はプライバシー侵害だ。現在利用できるデータの多くに個人情報が含まれているからである。近年、企業や政府のサイトから膨大な機密データが盗まれている。また研究者らは、映画のレビューのように一見無害なオンライン投稿から、たとえ仮名で公開されていても、人々の政治的意見や性的嗜好さえ正確に推測できることを示している。
最後に、ビッグデータは説明責任にも課題を突きつける。アルゴリズムの判断で不公平な扱いを受けたと感じる人が、その判断に異議を申し立てる手段を持たないことは少なくない。個々の結果を解釈できない場合や、アルゴリズムを作成した人々が仕組みの詳細を明かそうとしない場合があるためだ。政府や企業は、反対する人を威圧するためにアルゴリズムを「数学的」あるいは「科学的」と説明することがあるが、当の政府や企業もまた、自らの作り出したものの振る舞いにしばしば圧倒されている。欧州連合（EU）は最近、アルゴリズムの影響を受ける人々に「説明を受ける権利」を保障する措置を採択した。しかし、これが実際にどう機能するかは、時がたたなければ分からない。
ビッグデータによって被害を受けた人々に救済を求める手段がなければ、その結果は有害で、広範囲に及ぶ可能性がある。データサイエンティストのキャシー・オニールは、最近の著書『数学破壊兵器』でそのことを示している。
幸い、ビッグデータの危険の大部分は回避できる。ただし、そのためには、人々のプライバシーを断固として守り、不公平を見つけて是正し、アルゴリズムによる提案を慎重に活用するとともに、アルゴリズムの内部の仕組みや、その判断の根拠となるデータを厳密に理解し続けなければならない。
