私たちは並外れた時代に生きています。データを生成し蓄積する能力は、目もくらむほどの規模に達しました。そのデータの中にあるものは、疾病や気候変動から医療、顧客理解に至るまで、今世代が最も差し迫った課題を解決する機会を表しています。
この機会の大きさは、生み出されるデータの規模によって規定されており、その規模は驚くべきものです。
世界のインターネット利用者数は過去15年で750%以上増加して30億人を超え、近い将来には普及率50%の節目を超えるでしょう。この利用者層は、1分ごとにFacebookで250万件以上のコンテンツを共有し、30万回以上ツイートし、2億400万件以上のテキストメッセージを送信しています。
さらに、モノのインターネット（IoT）が普及するにつれ、データ増加の加速はこの後数年で劇的に進むでしょう。2020年までに200億から300億の「モノ」が接続されると見込まれています。これらの「モノ」は、自動車からサーモスタット、家畜群の健康状態に至るまで、あらゆるものについてデータを送信します。
この爆発的増加を支えているのは、データ保存技術およびアーキテクチャにおける目覚ましい進歩です。品質調整後のデータ保存機器の価格は、2002年から2014年にかけて年平均でほぼ30%下落しました。データを効果的に保存するための追加コストがほぼゼロとなったことから、各機関は、その中にあるものが組織にとって意味のある価値を生むという考えのもと、可能な限りすべてを取り込むことで対応してきました。
収集と保存における技術的進歩にもかかわらず、知識の生成は遅れています。これは、組織がデータにどう取り組むか、どのように分析を行うか、そして機械知能によってどのように学習を自動化するかに左右される問題です。
本質的には、これは数学的な問題です。あらゆるデータセットについて、可能な仮説・問いの総数は、データの規模に対して指数関数的に増大します。指数関数は人間にとって理解するだけでも難しいものですが、さらに事態を複雑にしているのは、データ量そのものが指数関数的に増大しており、モノのインターネットが本格化するにつれて、別の変曲点に差しかかろうとしていることです。
つまり、私たちはデータに投げかけられる問いの数が二重指数関数的に増大する局面に直面しているということです。これまで私たちを支えてきた手法、すなわち正解にたどり着くまでデータに繰り返し問いかけるというアプローチを選び続けるなら、世代を画する機会を逸することになるでしょう。
このアプローチが成功するためのデータサイエンティストは、世界に十分存在せず、今後も十分に存在することはありません。新しいソフトウェアで市民データサイエンティストを十分に育てても、このアプローチを成功させることはできません。問いの立案や仮説の策定をより容易に、あるいはより効率的にするソフトウェアは、中心的な前提を見落としています。すなわち、新たなデータが1ミリ秒ごとに生まれるにつれ、そうしたソフトウェアは取り残されるばかりだという点です。
私たちのデータに眠る価値を真に引き出すには、問いは後回しにして、データそのものに注意を向ける必要があります。これもまた数学的な問題であることがわかります。データには形があり、その形には意味があります。データの形は、明白な特徴から秘められた秘密に至るまで、データについて知るべきすべてを教えてくれます。
回帰分析は直線を生み出すことを、私たちは理解しています。
顧客セグメンテーションはグループを生み出すことを、私たちは知っています。
経済成長と金利には周期的な性質があることを、私たちは知っています（マラリアのような疾病もこの形をしています）。
データの形を知り、その形の中で自分たちがどこにいるかを把握することで、現在の状況、これまでの経緯、そして、より重要かもしれませんが、次に何が起こりうるかについての理解が大幅に深まります。データの形を理解することで、データセットのあらゆる特徴を把握でき、データにおいて何が重要かを即座につかむことができます。その結果、問うべき問いの数を大幅に減らし、発見のプロセスを加速させることができます。
考え方を変え、一連の問い（しばしば重大なバイアスを伴う）からではなく、データの形から出発することで、急速に増大する、巨大で複雑なデータセットから知識を引き出すことができます。
電子カルテ、診療報酬請求記録、臨床記録の中に隠れた知識は、医療の提供方法や疾病の治療法を変えるのに十分なものです。政府、大学、その他の機関の膨大なデータストアの中にある知識は、気候変動をめぐる議論に光を当て、将来の世代のために地球を守るために何をすべきかについての答えを示すでしょう。ウェブ、取引、CRM、ソーシャル、その他のデータによって隠されている知識は、顧客のより明確で意味のある姿を描き出し、ひいては最適な交流の方法を定義するでしょう。
これは、データを知識へと転換する、私たちの世代にとっての機会です。そこに到達するには異なるアプローチが必要ですが、それは人類全体に影響を与える力を持つものです。
2015年のテクノロジー・パイオニアに関する詳細はすべて こちらでご覧いただけます。
著者：ガーシェ・シン（Gurjeet Singh）は、Ayasdi社の共同創業者兼最高経営責任者（CEO）であり、世界経済フォーラムの テクノロジー・パイオニアに選出されています。
写真：2015年5月26日、中国貴州省貴陽市で開催された2015年ビッグデータ博覧会の会場外にある「ビッグデータ」の形をしたベンチに座る来場者。REUTERS/Paul Carsten
