中小企業(SME)のなかには、ビッグデータの利用者という枠組みからこぼれ落ちている企業が数多く存在します。しかし、この領域は、利用するデータの量と、それが中核事業にどれほど不可欠かによって、いくつかの区分に分けて捉えることが可能です。その区分は以下のとおりです。
高度データ利用企業:情報や調査を提供するサービス業のデータ中心型企業であり、主な製品はレポートです。マーケティング、法務、コンプライアンスなどの業界が該当します。
中程度のデータ利用企業も、データへの依存度が高い企業です。その多くはサービス業に属し、通常は大量の製品在庫を抱えています。この種のビジネスは労働力と知識に重点を置き、サービスと資源の提供に基づいています。人材紹介、物流、保険、旅行などの分野が該当します。
小規模データ利用企業は、主に経営管理や中核事業を支えるためにデータを活用する企業です。製造、小売、レジャー、ファシリティ管理などが例として挙げられます。これらの企業は、データを使ってサプライチェーンから顧客へ製品を届けています。

中小企業をデータ利用量によって区分しても、少なくとも中核的な経営プロセスの一部についてデータに依存していない企業は想定しがたいものです。高度データ利用企業はツールの高度化や、データの保存・アクセスにおいてより熟練していると予想されますが、3つの区分はいずれも同じ課題を共有しています。通常、これらの企業のシステムは、構造化データと半構造化データが別々のサイロに分かれた状態で複数存在しています。非常に大規模な企業は統合されたソリューションを有しているか、その導入を目指していますが、このレベルのデータ統合は、大企業全体においてさえ普遍的ではありません。当社の調査では、中小企業市場の上位層には、情報のプール間の統合がほとんどなされていない企業が多く存在することがわかっています。規模の下位層では、供給と配送のモデルが非常に単純で、主要なプロセスの大部分にわたってデータを統合している企業はごくわずかです。
中小企業がビッグデータ技術を利用する必要がある理由
長年にわたり、私たちは企業が直面する単一の問題を繰り返し見つけてきました。この問題と、そこから派生するその他の問題はすべて、共通の原因から生じています。私たちが長年にわたって調査してきたすべての企業は、システム内に情報を保有していましたが、その情報を意思決定者に容易に配布することができず、情報をタイムリーにまとめることもできず、分かりやすい形式で情報を提示し共有することも困難でした。例として、ある顧客のために、5つの異なるERPアプリケーションからデータを収集しました。その企業全体では、Oracle、JDE、SAP、CODAに加え、まったく異なる構成のSAPが稼働していました。多くの場合、これらのシステムからのデータ出力は、手作業によるCSVダンプとして得られ、その後、一連のスプレッドシート操作によって手作業で整形されています。データを取り込む別の方法を考案することも、RestfulまたはSOAPベースのAPIを多数作成して、データストリームを取り込んだり受信したりすることも可能ですが、いずれも、あるスキーマから別のスキーマへ変換する複雑なマッピングを作成するか、構造化された出力に従うデータを受け入れるための新しいテーブルを追加することを伴います。これは一度限りの作業になりがちで、分析が完了すると、カスタマイズされたテーブルは不要になります。こうした処理には、多くのプログラミング資源が費やされることがあります。

これらの問題は、ビッグデータが成熟する以前からすでに明らかでしたし、私たちは多数のデータウェアハウジング技術に精通しているものの、それらはすべて、同じ構造のデータがあることを前提としています。類似した構造のデータセットを一つの企業内で持つことは贅沢であり、ましてや多数の企業間で持つことなどありません。この問題に加え、半構造化データや、異なる形式のデータも大量に混在しています。ボリュームが大きいように見えるデータが集められ、核となる要素や重要な情報を示すスナップショットを形成するとき、そのデータは、非常に速く変化しているソースから得られることが多いのです。データが入ってくる速度、すなわちベロシティと、そのデータが消費される速度は速くなっており、これも考慮しなければならない要因の一つです。
急速に成長し、レガシーアプリケーションを急速に超えつつある企業のシステム課題を解決しようとすると、過去数十年にわたって断片化された情報という同じ問題が存在してきたことを思い起こさせます。以前、買収と積極的なマーケティングによって急成長し、グループ横断的なERPアプリケーションを発注した企業に出会いました。このアプリケーションは設計、構築、納品に相当な時間を要しました。アプリケーションの費用が途方もなく高額だったことは別として、仕様策定者、ビジネスアナリスト、開発者は皆、グループの多くが定期的なリース販売によって収益を得ているという事実を見落としていました。問題は、リースの満了日を現場の営業担当者に自動的に届ける仕組みがシステムになかったことです。リースの更新を管理する担当者は、それぞれ独自のスプレッドシートを持ってあちこち歩き回っていました。当時でさえ、営業主導で成功している企業が、効率的に中核製品を提供するためにコンサルタントが独自のスプレッドシートや、さらにはスタンドアロンのデータベースを作成することに依存しているという事実を受け入れるのは困難でした。この状況が今なお存在し、今日では一般的であることを受け入れるのは、さらに困難です。大手インテグレーターが提供してきたソリューションに共通する問題は、柔軟性に乏しいことです。新しいデータソースをシステムに取り込んだり、システムから取り出したりすることは、複雑で費用のかかるプロセスとなり得ますが、ビッグデータ技術が提供できる柔軟性と比べると、その差は明らかです。
私たちにとって解決策は明白です。インターネット、特にウェブは、データを検索することで情報が得られることを教えてくれました。インターネット上のデータに有効であれば、企業が作成、取得、利用するデータにも有効であり得ます。ビッグデータ技術は、構造化データと半構造化データを扱うように設計されているため、私有データにも、私有データと公開データの組み合わせにも適用できます。クラウドに保存されたデータを扱うように設計されており、動的な処理要件や変化するソースデータの量に効率的に対応します。


私たちが解決策を特定できたのは、それを可能にする技術が登場したからです。この技術は、成熟しており、柔軟な拡張を可能にし、手頃な価格であるという特徴を持ちます。なぜ解決策が必要かは明らかです。それがニーズに応え、繰り返し発生する問題を解決するからです。また、この技術は人々や企業がデータを扱う方法そのものを変えるでしょう。データ駆動型の意思決定ツールを容易に利用できるようにし、オンデマンドのビジネスインテリジェンスを提供し、社内に大規模な技術リソースがなくても、文書の中に閉じ込められた知識にアクセスできるようにします。さらに、文書やデータストアのサイロから収集された知識を融合させ、分析することを可能にします。

中小企業がビッグデータソリューションを検討する際のビジネス上の根拠
あらゆる企業の一般的な技術ニーズを検討するとき、そのすべてが抱える最も普遍的な単一の問題は、情報のサイロ化に起因しています。私たちが協働してきた主要なビジネスコンサルティング会社はすべて、これを重大な問題と認識しています。中には、これを企業が有するプロセスの成熟度の指標として用いる会社さえあります。企業が情報の断片化に陥る理由は数多くあります。通常、企業は顧客関係を管理するためのシステム(例:Sales Force)を持ち、会計ソフトウェア(例:Sage)を持ち、販売、在庫、またはサービスを管理するアプリケーション(例:Eコマースアプリケーションや販売時点情報管理(POS)製品)を持ち、さらに資源管理ソフトウェアも保有しています。
企業が成長するにつれて、そのシステムも独立して拡大していきます。収集される情報量が増えるにつれ、管理はしだいに困難になっていきます。データの増大の結果として、IT部門は非常に多忙になります。これらすべてのシステムからデータを取得することは、システム同士が互いに連携していないことに加え、いずれのシステムも全く異なる構造のデータを生成するため、問題となります。企業が蓄積するデータに起因する特徴として、次の3つが挙げられます。それは、ベロシティ(データが作成され消費される速度)、ボリューム(収集・保存されるデータの物理的な量)、バラエティ(データが保持される構造や形式の多様性)です。大量性(High Volume)、多様性(High Variety)、高速性(High Velocity)という特徴は、「ビッグデータ」の一般的な説明です。
相対的に見れば、中小企業が扱うデータ量は、現在の「ビッグデータ」の定義よりもはるかに少ないものの、中小企業が保有するデータを扱う技術と、「ビッグデータ」企業が用いる技術は共有できます。大量、多様、高速という特徴は、中小企業が通常遭遇するデータセットに当てはまります。したがって、Google、Amazon、Face Book、Twitterといったビッグデータ企業を支える技術が、典型的な中小企業が直面する問題への解決策を提供していることは驚くことではありません。非構造化データおよび半構造化データを扱う能力、分散処理、クラウド保存、弾力的なリソース、最適化された検索、容易な分類とインデックス付け、機械学習、可視化、オンデマンドのセルフサービス型レポーティングは、ビッグデータ技術が切り開いた扉です。
この記事は Smart Data Collectiveとの協力により公開されたものです。掲載は、世界経済フォーラムが見解を支持することを意味するものではありません。
アジェンダの最新情報を追うには、 毎週のニュースレターをご購読ください。
著者:Bruce Robbinsは、Xcipiの最高経営責任者(CEO)です。
画像:この画像にはワイヤーが写っています。REUTERS。
