1950年代に建設された カリフォルニア水路 は、水不足に悩む沿岸地域へ北カリフォルニアの山地から水を運ぶ、工学上の偉業です。しかし、長期化する可能性のある干ばつに直面し、水源から十分な水が流入しないため、カリフォルニア水路は容量を下回る稼働となっています。ビッグデータに関しては、おそらく組織内で正反対のことが起きています。ビッグデータが多すぎて、川岸からあふれ出し、混乱を引き起こしているのです。そして、状況は悪化の一途をたどっています。
カリフォルニア水路は美しい構造物です。『アトランティック』誌の 記事では、次のように説明されています。
「川、支流、水路のネットワークが、シエラ山脈の積雪からの流出水を、サンホアキン・デルタ南端にある巨大なポンプへと運ぶ。」そこから油圧ポンプが、州を横断する全長44マイルの水路を通じてカリフォルニアの各都市へ水を送り、各地の貯水池へと流し込みます。
あなたの組織にも、ビッグデータの水路に相当するものがあるでしょう。たとえば、各種の形式でデータがソースシステムから発生し、おそらく何らかの精製工程を経て、リレーショナル形式に収まります。余分なデジタル排出物は、圧縮してオンサイトまたは遠隔地のストレージに保管されている可能性があります。これは、組織全体でデータを継続的に取り込み、保存、移動、処理、監視、分析する絶え間ないプロセスです。
しかし、ビッグデータは あまりにも膨大で 、次々と押し寄せてきます。著者ジェームズ・グレイックは、 次のように述べています。 「人類が生み出し、消費してきた情報は、かつては消え去るものだった。それが通常であり、当たり前だった。光景も、音も、歌も、話し言葉も、ただ消えていった。今や期待は逆転している。少なくとも潜在的には、あらゆるものを記録し、保存できる。あらゆる演奏、店内やエレベーター、街路でのあらゆる犯罪、最も遠い海岸で起こるあらゆる火山噴火や津波まで。」つまり、記録可能なものはすべて対象となり、世界のどこかのサーバーに保存されている可能性が高いのです。
つまり、現在のITアーキテクチャを形作ったものでは、能力と整合性を大幅に高めない限り、押し寄せる膨大なデータの洪水に対応できません。
ITアーキテクチャは、基本的には上から見た視点、あるいはさまざまな構造や構成要素と、それらがどのように連携して機能するかを示す設計図と考えることができます。この文脈では、ビジネス、情報、アプリケーション、システムの全体像が現在どのような設計図になっているか、また将来のビジネスニーズに応えるにはどうあるべきかが問題となります。
ビッグデータに向けて、アーキテクチャへの取り組みを見直す必要があります。確かに、一部の企業――おそらく10％――は、複数の構造を持つデータ型を活用する必要が今後もないでしょう。オープンソース技術に手を出したり、導入したりする必要もないかもしれません。こうした企業に何らかの「ビッグデータ」アーキテクチャを勧めるのは、逆効果です。
しかし、残る90％の企業は、今日のITアーキテクチャとインフラでは将来のニーズに応えられないと気づき始めています。こうした企業は、現状と将来のビジネスニーズを緊急に評価し、リレーショナル形式の行や列にきれいに収まるデータだけでなく、あらゆる種類のデータから洞察を得られるアーキテクチャを設計する必要があります。
ビッグデータの猛攻は、予見できる将来にわたって続き、 指数関数的なデータ増加によって、ますます激しさを増す一方です。しかし、ここに課題があります。人間の思考は線形になりがちです。私たちは、この指数関数的なデータ増加に備える方法はおろか、それを活用する方法さえ分かっていません。そのため、ほとんどの企業のビジネス、情報、アプリケーション、システムのインフラは、迫り来るビッグデータの洪水に対処するどころか、それを活用できる状態にありません。
備えたいですか？既存のITアーキテクチャを 改めて見直し 、データ管理、データ処理、開発ツール、統合、分析の各システムが十分な水準にあることを確認することが重要です。将来の計画がどのようなものであれ、その取り組みを倍増させることを検討してください。
説得力のある反証が示されない限り、ビッグデータが過剰となる荒波の時代に備え、十分に練られた計画を持たないのは、あまりにも危険です。
本記事は、 SmartData Collectiveとの協力により掲載されています。掲載は、世界経済フォーラムが見解を支持することを意味するものではありません。
フォーラムの最新情報：Agendaを 毎週のニュースレターに登録してください。
著者：ポール・バーシュは、データウェアハウジングと分析のリーダー企業であるテラデータで、クラウド、ホスティング、マネージドサービスのマーケティングプログラムを統括しています。
画像：2012年1月24日、ワルシャワのサーバールームで見られるインターネットケーブル。説明用に撮影。REUTERS。