ビッグデータという用語の歴史は短いかもしれません。しかし、その基盤の多くは、はるか昔に築かれていました。
今日私たちが知るコンピューターが普及するずっと前から、分析に適した知識の蓄積が拡大し続けているという考えは、学術界で広く受け入れられていました。
忘れがちですが、情報を保存し分析する能力の向上は、段階的な進化を遂げてきました。前世紀末にデジタルストレージとインターネットが登場して、確かにその歩みは加速しました。
今年、ビッグデータが本格的に普及しようとするなか、データ時代の幕開けに至るまでの、長い思索と革新の歴史を簡潔に(ある程度)振り返ります。
データの古代史
紀元前約18,000年
人類がデータを保存・分析した最古の例として知られるのが、刻み目のある棒です。現在のウガンダにあたる場所で1960年に発見されたイシャンゴの骨は、先史時代のデータ保存を示す最古級の証拠と考えられています。旧石器時代の人々は、交易や物資を記録するため、棒や骨に刻み目を付けました。棒と刻み目を照合して初歩的な計算を行い、食料があとどれほど持つかといった予測を立てていました。
紀元前約2400年
計算を行う目的で特別に作られた最初の装置、そろばんがバビロニアで使われ始めます。最初の図書館もこの頃に登場し、大量のデータを保存する最初の試みとなりました。
紀元前300年~紀元後48年
アレクサンドリア図書館は、おそらく古代世界最大のデータ集積地であり、最大50万巻ほどの巻物を所蔵し、当時までにあらゆる分野で得られた知識を収めていました。残念ながら、紀元後48年に侵攻してきたローマ人によって、おそらく偶発的に破壊されたと考えられています。よくある誤解とは異なり、すべてが失われたわけではありません。蔵書の重要な部分は市内の別の建物に移されたか、持ち去られて古代世界各地に散逸しました。
紀元後約100~200年
アンティキティラ島の機械は、発見されたものとしては最古の機械式コンピューターで、おそらくギリシャの科学者によって製作されました。「CPU」は30個の青銅製歯車がかみ合う構造で、占星術とオリンピック競技大会の周期の追跡を目的に設計されたと考えられています。その設計から、さらに古い装置を発展させたものと思われますが、そうした装置はまだ発見されていません。
統計の登場
1663年
ロンドンでジョン・グラントが、記録に残る最初の統計データ分析実験を行います。死亡に関する情報を記録し、ヨーロッパで猛威を振るう腺ペストの早期警戒システムを設計できると論じました。
1865年
リチャード・ミラー・デヴンズは著書『商業・ビジネス逸話百科事典』で「ビジネスインテリジェンス」という言葉を用い、銀行家ヘンリー・ファーネスが事業活動に関する情報を体系的に収集・分析して競争相手に優位に立ったことを説明しました。企業が商業目的でデータ分析を活用した最初の事例研究と考えられています。
1880年
米国国勢調査局は課題に直面します。1880年の国勢調査で集めた全データの処理に8年かかると見積もられ、1890年の調査で生じるデータの処理には10年以上かかると予測されました。つまり、1900年の調査で情報が古くなるまで、結果を確認できないことになります。1881年、同局に勤める若き技師、 ハーマン・ホレリス は、後にホレリス式タビュレーティングマシンとして知られる装置を生み出します。パンチカードを使い、10年分の作業を3カ月に短縮し、近代的な自動計算の父として歴史に名を刻みました。彼が創業した会社は、後にIBMとして知られるようになります。
近代的なデータ保存の黎明期
1926年
発明家ニコラ・テスラは『コリアーズ』誌のインタビューで、無線技術が「完全に応用されれば、地球全体が巨大な脳に変わる。実際、地球はそうしたものであり、あらゆるものが真に調和した全体を成す粒子なのだ……そして、それを可能にする装置は、現在の電話と比べれば驚くほど簡単なものになる。人はそれをベストのポケットに入れて持ち運べるだろう」と述べています。
1928年
フリッツ・プフロイマーは、ドイツ系オーストリア人の技師で、テープに情報を磁気記録する方法を発明します。彼が確立した原理は今日も使われており、デジタルデータの大部分はコンピューターのハードディスクに磁気記録されています。
1944年
米国コネチカット州のウェズリアン大学の司書、フリーモント・ライダーは、論文『 研究図書館の学者と未来』を発表しました。
生み出される情報量を定量化しようとした最初期の試みの一つとして、ライダーは、価値ある学術書や一般書をすべて保存するには、米国の図書館は16年ごとに収蔵能力を倍増させなければならないと指摘しました。そこから、2040年までにイェール大学図書館には2億冊が収蔵され、書棚の総延長は6,000マイルになると推測しました。
ビジネスインテリジェンスの始まり
1958年
IBMの研究者ハンス・ペーター・ルーンは、ビジネスインテリジェンスを「提示された事実間の相互関係を把握し、望ましい目標に向けて行動を導く能力」と定義します。
1962年
音声認識への第一歩が踏み出されます。IBMの技師ウィリアム・C・ダーションは、1962年の万国博覧会でショーボックス・マシンを披露しました。英語で話された数字と16語を解釈し、デジタル情報に変換できます。
1964年
『ニュー・ステーツマン』誌の記事が、利用可能な情報量の増加に伴う管理の難しさを取り上げます。
大規模データセンターの始まり
1965年
米国政府は、磁気テープに7億4,200万件の納税申告書と1億7,500万件の指紋記録を保存する、 世界初のデータセンター を計画します。
1970年
IBMの数学者エドガー・F・コッドが、「リレーショナルデータベース」の枠組みを提示します。このモデルは、今日多くの現代的なデータサービスが情報を階層形式で保存するために用いる枠組みとなりました。探しているものが分かる人なら誰でもアクセスできます。それ以前は、コンピューターのメモリーバンクからデータにアクセスするには、通常専門家が必要でした。
1976年
資材所要量計画(MRP)システムがビジネス界で広く使われ始め、日常業務の迅速化と効率化を目的とするコンピューターの商業利用として、最初の主流事例の一つとなります。それまでは、研究開発や学術の現場以外で目にすることはほとんどありませんでした。
1989年
今日の用法における「ビッグデータ」(大文字表記なし)という言葉が、おそらく初めて使われました。国際的なベストセラー作家エリック・ラーソンは、『ハーパーズ・マガジン』の記事で、受け取る迷惑メールの出所を推測します。こう書いています。「ビッグデータを管理する人々は、消費者の利益のために行っていると言う。しかし、データは当初意図されたものとは別の目的に使われることがある。」
また、1950年代後半からすでに広く知られていた「ビジネスインテリジェンス」は、商業・業務の実績を分析する新たなソフトウェアやシステムの登場に伴い、人気が高まります。
インターネットの登場
1991年
コンピューター科学者ティム・バーナーズ=リーが、今日私たちが知るインターネットの原型となるものの誕生を発表します。彼は、 Usenetグループalt.hypertextへの投稿 で、世界中の誰もがどこからでもアクセスできる、相互接続された世界規模のデータ網の仕様を示しました。
1996年
R・J・T・モリスとB・J・トルスコウスキーの2003年の著書『 ストレージシステムの進化』によると、この年、デジタル保存が紙よりも費用対効果に優れるようになりました。
1997年
マイケル・レスクは論文『 世界にはどれほどの情報があるのか?』を発表します。存在するデータ量は12,000ペタバイトという推測も「不合理ではない」と論じました。また、発展のごく初期にあたるこの時点で、ウェブの規模が毎年10倍に拡大していることも指摘しています。彼によれば、こうしたデータの多くは誰の目にも触れず、洞察をもたらすこともありません。
この年にはGoogle検索も登場し、その後少なくとも20年間、インターネット上のデータ検索を指す代名詞となります。
ビッグデータの初期の考え方
1999年
その数年後、「ビッグデータ」という言葉が、Association for Computing Machineryが発表した『 ギガバイト規模のデータセットをリアルタイムで視覚的に探索する』に登場します。十分に分析する手段がないまま大量のデータを保存する傾向が、ここでも嘆かれています。論文は、コンピューター分野の先駆者リチャード・W・ハミングの言葉を引用しています。「コンピューティングの目的は数値ではなく、洞察である。」
また、「モノのインターネット」という言葉が初めて使われた可能性もあります。人間の「仲介者」を介さずに互いに通信する可能性を持つ、オンライン機器の増加を表す言葉です。RFIDの先駆者ケビン・アシュトンがプロクター・アンド・ギャンブルに行ったプレゼンテーションの題名として使われました。
2000年
ピーター・ライマンとハル・ヴァリアン(当時はGoogleのチーフエコノミスト)は、『 情報はいったいどれほどあるのか? 』で、世界のデジタル情報量とその増加率を初めて定量化しようとしました。二人は次のように結論づけました。「印刷物、映画、光学・磁気コンテンツの世界全体の年間生産量を保存するには、約15億ギガバイトが必要となる。これは地球上の男性、女性、子ども一人当たり250メガバイトに相当する。」
2001年
ガートナーのアナリスト、ダグ・レイニーは論文『 3Dデータ管理:データ量、速度、多様性の制御』で、後にビッグデータの一般的に認められた特徴となる3つを定義します。
この年には、現在業界標準となっているクラウドベースのアプリケーションの多くに不可欠な概念、「サービスとしてのソフトウェア」という言葉も初めて使われました。Software and Information Industry Associationによる記事『戦略的背景説明:サービスとしてのソフトウェア』でのことです。
Web 2.0がデータ量を押し上げる
2005年
論評者たちは、サービス提供者ではなくサービス利用者がコンテンツの大半を生み出す、ユーザー生成型のウェブ「Web 2.0」の誕生を目の当たりにしていると発表します。従来のHTML形式のウェブページを、SQLを基盤とする大規模なバックエンドデータベースと統合することで実現しました。前年にサービスを開始したFacebookでは、すでに550万人が友人と自分のデータをアップロードし、共有しています。
この年には、ビッグデータセットの保存と分析のために特化して作られたオープンソースのフレームワーク、Hadoopも誕生します。その柔軟性により、私たちがますます生成・収集する非構造化データ(音声、動画、未加工テキストなど)の管理にとりわけ有用です。
今日の用法における「ビッグデータ」の登場
2007年
『Wired』誌は記事『 理論の終焉:データの奔流が科学モデルを時代遅れにする
』によって、ビッグデータの概念を広く一般に知らしめます。
世界のサーバーは9.57ゼタバイト(9兆5,700億ギガバイト)の情報を処理しています。これは1人当たり1日12ギガバイトに相当します( 『情報はいったいどれほどあるのか?』2010年報告書による)。『 情報の国際的な生産と普及』では、この年に新たに生み出される情報量は14.7エクサバイトと推定されています。
2009年
マッキンゼー・グローバル・インスティテュートの報告書『 ビッグデータ:イノベーション、競争、 生産性の次なるフロンティア』によると、従業員1,000人超の米国企業は、平均して200テラバイトを超えるデータを保存しています。
2010年
Googleのエグゼクティブ・チェアマン、エリック・シュミットは会議で、今では人類の文明の始まりから2003年までに生み出されたのと同量のデータが、わずか2日ごとに生み出されていると述べます。
2011年
マッキンゼーの報告書は、2018年までに米国でデータサイエンティストが14万人から19万人不足すると述べています。また、ビッグデータの価値を十分に実現するには、プライバシー、セキュリティ、知的財産などの課題を解決しなければならないと指摘しています。
2014年
モバイル機器の台頭 により、オフィスや家庭のコンピューターよりもモバイル機器でデジタルデータにアクセスする人が初めて多くなります。GEがアクセンチュアと共同で実施した調査では、企業幹部の88%が、ビッグデータ分析は自社の最優先事項だと回答しました。
最後に
ここから分かるのは、ビッグデータは新しい現象でも、単独の現象でもなく、データを捉えて活用する長い進化の一部だということです。データ保存、データ処理、インターネットにおける他の重要な発展と同じく、ビッグデータもまた、ビジネスや社会の運営方法に変化をもたらす次の一歩です。同時に、さらなる進化が築かれる土台となるでしょう。
この記事は LinkedInとの協力により公開されています。掲載は、世界経済フォーラムが見解を支持することを意味するものではありません。
アジェンダの最新情報を受け取るには、 週刊ニュースレターに登録してください。
著者:バーナード・マー
画像:シドニーで撮影された写真をもとにしたイラストに、インターネットのLANケーブルが写っています。REUTERS/ティム・ウィンボーン。





