「ビッグデータ」と一般に呼ばれる、私たちの生活のほぼあらゆる側面に関する膨大な情報の集合は、これら多様なデータセットを分析することで何が得られるかについて、大きな期待を生み出してきた。 その恩恵は 、政府サービスであれ販売促進であれ、資源のより適切な配分から、より効果的な医療処置に至るまで多岐にわたる。しかし、真に有益な知見は、正確かつ網羅的なデータからのみ得られるため、データがどのように収集されたかを常に念頭に置くことが極めて重要である。
データサイエンティストは 正確で網羅的なデータの重要性を理解している 。結局のところ、データそのものが信頼できないのであれば、分析に基づいて無効な結論を導くことになりかねない。
この落とし穴を避けるため、ほとんどのデータ分析プロジェクトで最も大きな コスト の一つは、 データの準備とクレンジング (すなわち、データ内の誤りを発見し修正すること)である。これらの誤りには、不正確な値、欠損したエントリー、エイリアシング(二人の人物が同姓同名であるなどの理由で、二つの異なる実体に関する情報が誤って統合される場合)、そして複数登録(同一人物の名前の綴りが異なるなどの理由で、同一の実体に関する情報が分割される場合)が含まれる。データセットが小規模であれば、分析者は各エントリーを手作業で精査し検証できる。大規模なデータセットの場合は、コンピュータで実行されるアルゴリズムに頼らざるを得ない。こうしたアルゴリズムの開発は、今やそれ自体が一つのサブ分野となっている。
「ゴミを入れればゴミが出てくる」という古くからの格言は、複雑で膨大なデータセットの時代において、かつてないほど的を射ている。それらが示唆するように見えるものを信頼することの、時に重大な結果とともに。
不正確さが忍び込む経路
データの誤りは、さまざまな理由から生じうる。例えば、ユーザーはウェブフォームへの入力時にしばしば誤りを犯す。データクレンジングソフトウェアは、郵便番号が住所と一致するかを検証し、場合によっては修正することさえできる。したがって、市区町村欄に州名まで一緒に入力されている場合(例えば、市区町村欄に「Plainfield, NJ」と入力された場合)、データクレンジングによって州の情報を正しい欄へ移動させることができる。また、ある通りの番地が1~80番までしかない場合、データクレンジングソフトウェアは「125」と入力された番地を誤りとしてフラグ付けできる。不注意による多くの誤りは、賢明なソフトウェアによって検出され、場合によっては修正されうる。
不正確さの原因は、不適切なデータ入力だけではない。誤りがよく生じる一般的な箇所の一つは、データセット間でデータを連結する場面である。両方のデータセットが、社会保障番号のような一意の識別子を各エントリーに付与して用いていない限り、データセット間でエントリーを照合することは困難である。その結果、本来は別個であるべきなのに連結されてしまうエントリーや、対応関係にあるのに連結されないエントリーが生じやすい。
誤りのもう一つの頻繁な原因は、コンピュータソフトウェアが、より複雑な他のデータに基づいて表の項目を作成する場合である。例えば、製品のレビューを書くと、それが数少ない単純な軸(例えば、雰囲気、料理の味、サービス、コストパフォーマンス)に沿って、いくつかの区分(例:好き/やや好き/嫌い)のいずれかに要約されることがある。要約された形式は定量分析に適しているが、元のテキスト形式はそうではない。しかし、要約の過程で誤りが生じうる。
少なくとも、人々に嘘を促すような仕組みにはしないこと
誤りが不注意によるものではなく、ユーザーの意図的な選択に起因する場合、ダーティデータをクリーニングすることはほぼ不可能である。隣人の住所を自分の住所として入力したとしよう。賢明なソフトウェアも、あなたについてさらに多くを知らない限り、この嘘を見抜くことはできない。入力された住所は技術的には有効なエントリーであり、ただ正しくないだけなのだから。
分析結果を信頼するのであれば、少なくとも、データ収集の手続きがユーザーに不正をする動機を与えないよう確保しなければならない。
私たちに自身に関する情報の記入を日常的に求めるウェブフォームについて考えてみよう。迷惑メールを懸念してか、多くのユーザーがこうしたフォームに偽のメールアドレスを入力する。ユーザーがクリックしなければならない確認リンクを送信するなどして、入力されたメールアドレスを確認しているウェブサイトもある。しかし、そうした確認は費用がかかり、ユーザーにとって使い勝手が悪い。補完的なアプローチは、ウェブサイトが信頼性の評判を築くことであり、それによりユーザーは悪用の可能性を心配することなくメールアドレスを進んで共有するようになる。
実際、人々(および企業やその他の団体)は、データ収集を信頼できると感じた場合にのみ、正確で完全なデータを提供する。米国国勢調査局が高品質なデータを収集できるのは、 国民に対し 、国勢調査で報告された内容は、統計的な報告以外の目的、すなわち税金の徴収やその他同様の政府目的には使用されないと確約できるからである。脱税者を捕まえることが望ましく、国勢調査データがそれらを特定する政府の能力を大幅に高めうることも明らかであるが、ほとんどの国の法律は、国勢調査データのそのような利用を 禁じている。国民が国勢調査データを税額計算に利用できると知った瞬間、国勢調査員に嘘をつく動機が生まれるからである。
ビッグデータは、高リスクな状況で嘘をつく動機を出し抜くことはできない
地元のチェーン店で自分の関心がありそうなセールを紹介する、的を絞った週次メールが正しく届くかどうかは、おそらく本当には気にならないだろう。しかし、ビッグデータの正確性に賭けられているものがはるかに大きい他の事例が確かに存在する。
例えば、パイロットのアンドレアス・ルビッツの精神衛生を中心とした、現在の ドイツのプライバシー法をめぐる議論 を見てみよう。彼は 意図的に飛行機を墜落させ 、アルプス山脈に突入させて3月に150人を死亡させたとされている。彼の精神衛生を考えると、そもそも飛行機の操縦をすべきではなかったはずだ。一部の人々は、彼の雇用主であるルフトハンザ(ジャーマンウィングスの親会社)が、ルビッツの精神衛生記録に完全にアクセスできていれば、飛行機が墜落する前に彼をコックピットから遠ざけることができたはずだと主張している。
しかし、プライバシー法を弱めても、ルビッツのような人物の真の精神状態が当局に明らかになるわけではない。むしろ、公式の健康記録が事実を確実に反映した信頼できる記録である可能性が低くなるだけである。ルビッツのように飛行を熱望し、パイロットになることを夢見る人物は、自分の公式な医療記録が自分に不利に使われうると知れば、失格となる病状を隠すためにあらゆることをするだろう。省略や虚偽への動機は、信頼できるデータセットを収集し活用する能力を損なうことになる。この場合、プライバシーは安全上の利益が何もないまま犠牲にされることになる。医療記録のデータはきれいに保ち、正式な医療制度の外で実施される検査によってパイロットの適性を判断するほうがはるかに望ましい。
社会として、手元にあるあらゆるデータ資源を活用することは素晴らしいことである。しかし、善意からであっても、その活用への熱意のあまり、このデータ資源の質を損なわないことが重要である。こうした大規模データセットをどのように運用するかについて慎重でなければ、質の低いデータを収集することになるだろう。特に、ルビッツの健康記録のように個別に懸念のある箇所では、その傾向が顕著である。ビッグデータから導き出す推論は、投入する個々のデータ点の質以上のものにはならない。
本記事は、 The Conversationとの協力のもとで掲載されたものである。掲載は、世界経済フォーラムによる見解の支持を意味するものではない。
The Agendaの最新情報を追うには、週刊ニュースレターにご登録ください。
執筆者:H V Jagadish氏は、Bernard A Galler Collegiate Professor(バーナード・A・ガラー・コレッジエイト教授)であり、電気工学・コンピュータサイエンス学部のメンバーとして、 ミシガン大学に所属している。
画像:2013年5月21日にベルリンで撮影された、コンピュータ画面の前で虫眼鏡が掲げられているイラスト写真。REUTERS/Pawel Kopczynski。



