私にとって水曜日の「データ洪水」セッションから得た教訓は、「ビッグデータ」はそれ自体が問題でも解決策でもなく、目的を果たすための手段だということだ。いわば「ビッグインサイト」である。登壇者たちが示したように、それはすでに起きている。
真の洞察を得ることは非常に困難である。それは日常的な事象の数量化の中に埋もれているからだ。例えば、米国で心臓病を患うすべての人や、信用が低いすべての人の記録があったとしよう。どちらのデータセットも「ビッグ」ではあるが、深く繊細な理解がなければ、私たちは問題を記述することしかできない。データを意味のある実験へと洗練させることは、必要とされる人間の洞察と計算による洞察のバランスを含む、非常に適応的なプロセスである。
マイクロソフトのクレイグ・マンディ氏は、自身のチームがどのように 機械学習を用いて再入院を調べたことを説明した。再入院は医療費の主要な要因である。慢性心不全の症例10年分を調べたところ、同社のツールは医師が経験的に報告していた相関関係を確認しただけでなく、見過ごされていたいくつかのシナリオも特定した。疑わしい共同要因からさらなる洞察を導き出すことで、医師は早期介入が適切である時期を判断できる。
ホセ・フェレイラ氏の会社、 Knewtonは、教師が特定の状況において最も効果的な方法に基づいて、コンテンツや指導方法を個別化できるよう支援している。Knewtonの製品には、他の教材を強化する推薦エンジンや、完全な数学コースが含まれる。このアプローチは、テクノロジーと教育という二つの大きな要素を組み合わせ、洞察の本質についての洞察を導き出すものであり、幅広い取り組みに深い意味合いをもたらすことを示唆している。
また、次の驚くべき数字も知った。毎週150万人が都市に移住しているという。その弊害は明らかである。過密、犯罪、逼迫したインフラ、そして疾病の媒介が真っ先に思い浮かぶ。しかし、これは公共の意思決定を最適化する計り知れない機会をもたらしている。ニューヨーク市政府は既存のデータを活用し、 スマートなリソース配分を通じて公衆衛生と安全を改善している。これらの概念が広がり進化するにつれて、その恩恵が増大することは間違いない。
自然災害もまた、ビッグデータの新たなフロンティアである。パランティアが退役軍人団体のチーム・ルビコンと提携し、 ハリケーン・サンディの救援活動を支援した際にそれを目の当たりにした。最も深刻な被害を受けた地域と最大のニーズを特定することから始まった。支援が次々と集まるにつれ、データの状況はプロジェクトの追跡、人員の配分、そして1万人のボランティアのリアルタイムでの調整へと移行した。
ビッグデータについて語る際には、ガバナンスに触れなければ完全とは言えない。ピュー研究所のアラン・マレー所長は、ほとんどの人は自分の医療記録が一般に閲覧可能になることは望まないだろうが、バスにはねられた場合には、緊急対応要員がそのデータを利用できることを絶対に望むだろうと指摘した。前述の課題と同様に、ガバナンスには強制力と繊細さ、適応とフェイルセーフの両方が求められる。
これがあまりにユートピア的に聞こえるとしても、ビッグデータからビッグインサイトへの道のりは、進化のプロセスがいつもそうであるように、本質的に混沌としたものになることを認めるべきである。その混沌に見合う秩序を生み出すには、人間と技術の創意工夫の限界に到達する必要があるだろう。しかし、その限界は私たちが想像していたよりも高いのだと気づくかもしれない。
著者:シャイam・サンカール氏は、パランティア・テクノロジーズの社長である。同社は、集団が情報を分析する方法を根本的に変革することに取り組んでいる。2004年に設立され、本社はカリフォルニア州パロアルトにある。同社は現在、世界の情報を統合、可視化、分析するためのプラットフォームである「Palantir Government」と「Palantir Finance」を提供している。Palantir Governmentは、情報機関、防衛、法執行機関のコミュニティで広く導入されている。Palantir Financeは、世界有数のヘッジファンドや金融機関の一部で使用されている。
画像:東京でコンピューターのモニターを見つめる男性 REUTERS/Nicky Loh
