ビッグデータは、 メディア、 産業界 、そして 政府から大きな注目を集めています。企業や研究機関は、天候から携帯電話の利用状況、医療記録まで、あらゆる事象に関連する膨大なデータを生み出しており、それぞれのデータセットには数百の変数が含まれることもあります。
こうしたデータセットは非常に大規模で複雑なため、その中からパターンを探す従来の方法では、なかなか成果が得られません。万能の解決策としてしばしば喧伝されるデータ分析には、かつては解決困難だった問題に進展をもたらす可能性が確かにあります。しかし、まずは自分たちが何を見ているのかを把握できなければなりません。
回帰直線を使うと、ある集団における身長と体重の関係を示すことができます。
Jake、 CC BY
統計学の入門では必ずといってよいほど、線形回帰についての講義が1、2回あります。これは、平面上に散らばる点群に最もよく当てはまる直線を見つける手法です。こうしたグラフは、たとえば気候変動に関する記事で、気温などの気象データを時間に対してプロットする際や、雇用やGDPの過去の推移から将来を予測する経済見通しでよく使われます。
しかし、点群が直線の近くにないとしたらどうでしょう。代わりに、円のような形を作っているとしたら？
円周上の点群（左）と、最もよく当てはまる直線（右）。
Kevin Knudson、 CC BY-NC-ND
この場合、回帰分析が役に立たないのは明らかですが、それが分かるのは、点群が円を形作っていると 見て 分かるからにすぎません。
今度は、より高次元の空間で円周上に並ぶ点群を想像してみてください。三次元なら円を見られるかもしれませんが、大規模なデータセットを調べるときによくあるように変数が増えると、問題が生じます。円をどう検出すればよいでしょうか。さらに言えば、コンピューターに円を見つけさせるにはどうすればよいでしょうか。
ビッグデータの拡大に伴って生じるこうした問いに、代数的トポロジーはいくつかの答えを与えてくれます。
ビッグデータを空間的に読み解く方法
トポロジーは「ゴムシート幾何学」と呼ばれることがあります。トポロジー学者にとって、球面と立方体は同じものです。柔らかい素材でできた立方体を想像してみてください。ストローを差し込んで息を吹き込めば、膨らんで球になります。このような操作は 変形と呼ばれ、一方をもう一方へ変形できるなら、二つの物体は同じものとみなされます。
トポロジー学者は、空間に 不変量 と呼ばれる代数的対象を割り当てて研究します。不変量は整数のように単純な場合もありますが、より複雑な代数構造であることもよくあります。データ分析で用いられる不変量は、 パーシステントホモロジーです。
通常のホモロジーは、空間の中で埋めることのできない「穴」の数を測ります。もう一度、球面を考えてみましょう。球面上にループを描くと、それは表面上の二次元の円板を境界として囲みます。つまり、球面上のどのループも埋めることができるため、二次元の「穴」はありません。対照的に、球面そのものの表面は、埋めることのできない三次元の「穴」を囲みます。
空間のベッチ数は、各次元における、埋めることのできない穴の数を数えます。球面の第二ベッチ数は1（内部を埋められないため）、第一ベッチ数は0（どのループも球面上の円板を境界として囲むため）です。第零ベッチ数は空間を構成する部分の数を数えます。球面の場合、部分は1つです。より複雑な空間には、さらに高次元のベッチ数もあります。
データ分析に通常のホモロジーを使う場合の問題は、離散的なデータ点の集合のホモロジーを計算しても、期待外れの結果になることです。穴はなく、互いにつながっていない点の集まりにすぎません。第零ベッチ数は点の数を数えますが、そうした集合にはループも球面もないため、高次のベッチ数はすべて0になります。ここでパーシステントホモロジーが登場します。
離散的な点の集合をつなぎ合わせる必要があります。データセットの各点の周りに、半径 r の小さな球を置くと想像してください。 r が非常に小さければ、どの球も交わらず、球の集合のベッチ数は離散的な点の集合の場合と同じです。
しかし、 r を大きくしていくと、やがて球同士が触れ始め、高次のベッチ数が0以外になる可能性があります。アニメーションでは、 r があるしきい値に達すると、上部にある3点の周りの球が互いに交わり、その3点を結ぶ三角形ができます。さらに、中央には小さな隙間があるため、三角形を埋めることはできません。この段階では第一ベッチ数が1です。しかし、 r がもう少し大きくなると、3つの球が同時に交わり、三角形を埋められるようになります。その結果、第一ベッチ数は0に下がります。
パーシステントホモロジーは、半径が大きくなるにつれてこれらの数を追跡します。数をパラメーター r に対してプロットしたものは、 バーコードと呼ばれます。長いバーは、データの中に重要な特徴がある可能性を示します（その特徴が 持続することが、名前の由来です）。短いバーはデータのノイズに由来することが多く、無視してよい場合もあります（そうでない場合もあり、文脈が重要です）。
つまり、離散的な点の集合から、より複雑な空間の系列へと移行したことになります（各 rに対応する空間です）。この系列は、単純な線形回帰よりもデータをうまくモデル化できると期待されます。
球の半径が大きくなるにつれ、円は空間の中で持続します。
Kevin Knudson、 CC BY-NC-ND
上のアニメーションでは、円周上のいくつかの点をこの方法でモデル化する様子を示しています。各点の周りの球は省略し、球が重なる2点をつなぎ、3つの球が交わると三角形を作る、といった具合に表現しています。円はかなり長い間持続するため、データが円の近くにあると推測できます。
理論を超えた応用
Gunnar Carlsson 氏はスタンフォード大学の研究者で、トポロジカルデータ解析の先駆者の一人です。同氏のグループが初期に挙げた成果の一つは、自然画像の空間のトポロジーを発見したことです。このデータセットは、白黒のデジタル写真から抽出した、3ピクセル四方のパッチ数百万個で構成されています。各ピクセルは、グレースケール値を表す0から255までの数値で記述されます。各3×3パッチは、9次元空間内の一点に対応し、それぞれの座標が対応するピクセルの数値を表します。値が一定のパッチを取り除き、正規化を行うと、この空間は7次元球面の内部に収まります。一見すると、点群は球面全体を埋めているように見えますが、点がより密集している領域に注目すると構造が現れます。
Carlsson氏と共同研究者たちは、データが実際には クラインの壺上にあることを示しました。これは球面に埋め込まれた、向き付け不可能な二次元曲面です。さらに研究を進め、業界標準の JPEG 2000をわずかに上回る写真圧縮アルゴリズムを見つけました。Carlsson氏はこの研究について優れた 概説 を発表しています。
この成果を受け、Carlsson氏は同僚数人とともに AYASDIを設立しました。同社は銀行、金融、政府など、さまざまな業界で顧客を増やしています。同社はこうした手法などを用いて、 糖尿病、 乳がん 、 心肺疾患 のデータを分析しています。成果は有望で、従来の統計手法では見つけられなかった、生存率の高い患者の特定のサブグループを、これらの手法で発見できる可能性があります。
しかし、こうした手法の真価は、一人ひとりに合わせて治療や解決策を調整できる可能性にあります。たとえば、大規模なデータセットを分析すると、かつて有効率80%と考えられていた薬が、実際には、ある指標によって特定できる患者の80%に対して100%有効だと分かることがあります。トポロジカルデータ解析は、分析をさらに進めるための新たな手段となり、これまで見えなかった特徴をしばしば明らかにします。
本記事は、 The Conversationとの協力により掲載されています。掲載は、世界経済フォーラムが見解を支持していることを意味するものではありません。
アジェンダの最新情報を受け取るには、週刊ニュースレターにご登録ください。
著者：ケビン・クヌードソンはフロリダ大学の数学教授です。
画像：サーバーラックに電源コネクターが吊り下がっている。REUTERS/Mike Segar。
