データウェアハウスについてはおそらく耳にしたことがあるでしょう。しかし今、より新しい言葉が広まりつつあります。ビッグデータに関わっているなら、今後さらに耳にする機会が増えそうな「データレイク」です。
では、データレイクとは何でしょうか。説明するには、データウェアハウスと比べるのが最も分かりやすいでしょう。違いは、物を倉庫に保管するのと湖に蓄えるのとの違いに、よく似ています。
倉庫では、すべてが定められた方法で整理・保管されています。製品は容器に入れられ、容器は棚に置かれ、棚は列をなす、といった具合です。従来のデータウェアハウスでは、データもこのように保存されます。
一方、データレイクでは、すべてが構造化されずに流し込まれます。湖の水の一分子は、ほかのどの分子とも同等で、湖のどこへ移されても同じようになじむことができます。
つまり、湖に蓄えられたデータは非常に高い柔軟性を備えています。近年よく使われるようになった別の言葉を使えば、高い「アジリティ」があるのです。データを使って行いたい作業に応じて、必要なときに構成を設定したり、変更したりできます。
データレイクには、取り込んだばかりで、加工や分析を経ていない、最も生の状態のデータが含まれます。
データレイクでは、いわゆるオブジェクトベースのストレージが使われます。個々のデータをオブジェクトとして扱い、情報そのものに関連するメタデータを組み合わせ、固有の識別子を付与するためです。
倉庫のように階層的に保管する仕組みではないため、どの情報もほかの情報より「上位」ではありません。基本的には、湖に水の分子が存在するように、自由に置かれた状態です。
この用語は、PentahoのCTOであるJames Dixonが2011年に初めて使ったとされています。彼が概念そのものを発明したわけではありませんが、GoogleやFacebookなどの企業が導入していた革新的なデータアーキテクチャのソリューションに名前を付けました。
この名称がマーケティング資料に登場するまで、そう時間はかかりませんでした。Pivotalは自社製品を「ビジネスデータレイク」と呼び、Hortonworksは自社サービスの名称にHortonworks Datalakesを採用しています。
厳格な階層型データベースではなくデータレイクにデータを保存することで得られる柔軟性の高まりを、より多くの組織が認識するにつれて、この手法は今後さらに普及すると見込まれています。
たとえば、データベースにおけるデータの保存方法（「スキーマ」）は、データ戦略の設計初期に定義されることがよくあります。しかし、時がたつにつれて、組織のニーズや優先事項は変化する可能性があります。
構造を持たないまま保存されたデータなら、以前の構造をいったん解体してから組み立て直す場合に比べ、必要な形へより素早く整えられる、と考えることもできます。
もう一つの利点は、組織内の誰もがデータを利用でき、作業内容に適したさまざまなツールやインターフェースを通じて分析・照会できることです。
また、部署やアプリケーションごとに個別のデータストアを持つことが多い現状とは異なり、組織のすべてのデータを一か所に保管できるということでもあります。
これには独自の利点と欠点があります。一方では、管理するストアが一つだけなので、監査やコンプライアンス対応が簡単になります。他方では、「卵を一つの籠に盛る」ことになるため、明らかなセキュリティ上の影響があります。
データレイクは通常、Hadoopフレームワーク内に構築されます。構成するデータセットが「ビッグ」であり、分散システムが提供する大容量のストレージを必要とするためです。
現時点では、まだ理論的な側面が多くあります。すべてのデータを湖に保管する移行に踏み切れる組織はごくわずかだからです。多くの組織は「データの沼」に足を取られています。長年にわたり、データをさまざまな非協調的な方法で保存してきた結果、陸と水が入り混じり、把握しにくくなった状態です。
もちろん、批判もあります。用語そのものが問題だという人もいます（私もその意見に傾いています）。この言葉は、アーキテクチャへの認識が欠けていることを示唆しますが、新たなソリューションを設計する際に本当に必要なのは、データアーキテクチャをより慎重に検討することです。
しかし、良くも悪くも、ビッグデータやビジネスインテリジェンスに関わっているなら、近いうちにこの言葉を耳にする機会はおそらく増えるでしょう。
データレイクに頭から飛び込む準備はできていますか。それとも、データを高く乾いた場所に保っておきたいですか？
この記事は、 Smart Data Collectiveとの協力により掲載されています。掲載は、世界経済フォーラムが見解を支持することを意味するものではありません。
アジェンダの最新情報を受け取るには、 週刊ニュースレターにご登録ください。
著者：Bernard Marrは、世界的に認知されたビッグデータおよび分析の専門家です。
画像：スーパーコンピューターの背面にある配線を写した写真。REUTERS/Thomas Peter。
