ランダムアクセスメモリ(RAM)は、コンピューターが処理中のデータを保存する場所である。プロセッサーは、コンピューターのディスクドライブから取得するよりも数万倍速くRAMからデータを取得できる。
しかしビッグデータの時代では、データセットは1台のコンピューターのRAMに収まらないほど大きいことが多い。単一のヒトゲノムを表すデータは、一般的なコンピューター40〜100台程度のRAMを占めることになる。
ほとんどのポータブル機器で使用されているメモリの一種であるフラッシュメモリは、ビッグデータ用途において従来のRAMの代替となりうる。コストは約10分の1で、消費電力も約10分の1である。
問題は、速度も10分の1であることだ。しかし6月に開催されたInternational Symposium on Computer Architectureで、MITの研究者らは、いくつかの一般的なビッグデータ用途において、フラッシュメモリを用いたサーバーを従来のRAM搭載サーバーと同等の効率にすると見込まれ、かつ電力とコストの削減効果も維持できる新システムを発表した。
研究者らはまた、分散計算を実行するサーバーがデータ取得のために5パーセントの時間でもディスクにアクセスしなければならない場合、いずれにしても性能はフラッシュメモリと同程度の水準まで低下することを示す実験結果も発表した。
言い換えれば、研究者らによるフラッシュメモリからのデータ取得を高速化する新手法がなくても、10テラバイト分のRAMを備えた40台のサーバーは、20テラバイト分のフラッシュメモリを備えた20台のサーバーより効率的に10.5テラバイトの計算を処理することはできず、後者の消費電力はそのごく一部にすぎない。
「これはDRAM(ダイナミックRAM)の代替や、それに類するものではない」と、新研究を行ったグループを率いるMITのコンピュータサイエンス・工学分野のJohnson教授Arvindは述べている。「しかし、この新しいタイプのアーキテクチャを活用できる用途は数多くあるかもしれない。企業もそれを認識している。誰もがフラッシュのさまざまな側面を試行している。我々はただ、設計空間における別の拠点を確立しようとしているだけだ。」
新論文にはArvindのほか、コンピュータサイエンス・工学専攻のMIT大学院生で共同筆頭著者のSang Woo JunとMing Liu、同じく大学院生のShuotao Xu、Arvindのグループのポスドクである Sungjin Lee、そしてMyron KingとJamey Hicksが参加している。両名は Arvindのもとで博士号を取得し 、新システムの開発当時Quanta Computerの研究者であった。さらに、Quantaの同僚であるJohn Ankcorn(同氏もMITの卒業生)も参加している。
計算処理の外部化
研究チームは、フラッシュメモリベースのサーバーネットワークを、RAMベースのサーバーネットワークと競合できる水準にすることに成功した。その方法は、フラッシュドライブを制御するチップにわずかな計算能力を移すことである。サーバーに返す前にフラッシュドライブ上のデータの一部を前処理することで、それらのチップは分散計算を大幅に効率化できる。さらに、前処理アルゴリズムはチップに組み込まれているため、オペレーティングシステムの実行やファイルシステムの維持などに伴う計算上のオーバーヘッドが不要になる。
スポンサー企業の一部(Quanta、Samsung、Xilinx)が提供したハードウェアを用いて、研究チームは20台のサーバーからなるプロトタイプのネットワークを構築した。各サーバーはFPGA(フィールドプログラマブルゲートアレイ)に接続された。FPGAは、さまざまな種類の電気回路を模倣するように再プログラムできるチップの一種である。各FPGAは、今度は2つのハーフテラバイト(500ギガバイト)のフラッシュチップと、サーバーラック内で最も近い2つのFPGAに接続された。
FPGA同士が接続されていたため、任意のサーバーが任意のフラッシュドライブからデータを取得できる、非常に高速なネットワークが構築された。また、FPGAはフラッシュドライブを制御していたが、これは容易な作業ではない。最新の市販フラッシュドライブに付属するコントローラーは、最大8基の異なるプロセッサーと1ギガバイトの作業用メモリを備えている。
最後に、FPGAはフラッシュドライブに保存されたデータを前処理するアルゴリズムも実行した。研究者らは、人気のある3つのビッグデータ用途に向けた3種類のアルゴリズムを検証した。1つ目は画像検索であり、巨大なデータベースの中からサンプル画像に一致するものを探す処理である。2つ目はGoogleのPageRankアルゴリズムの実装であり、同じ検索条件に合致するさまざまなWebページの重要度を評価するものである。3つ目はMemcachedと呼ばれるアプリケーションで、大規模なデータベース駆動型ウェブサイトが頻繁にアクセスされる情報を保存するために用いている。
カメレオン・クラスター
FPGAは、ハードワイヤード回路を備えた専用チップの約10分の1の速度である。しかし、同じ計算をソフトウェアで実行する中央処理装置(CPU)よりははるかに高速である。通常、FPGAは新しい設計のプロトタイプ作成に使われるか、販売量が少なすぎて専用チップの製造の高コストを正当化できないニッチな製品で使われる。
しかし、MITとQuantaの研究者らの設計は、FPGAの新たな用途を示唆している。研究者らが設計したもののような複数のアクセラレーターから、多くの用途が恩恵を受けられる可能性がある。また、FPGAは再プログラム可能であるため、用途に応じて異なるアクセラレーターを読み込ませることができる。これにより、汎用性をほとんど損なうことなく、エネルギーとコストを大幅に削減する分散処理システムにつながる可能性がある。
「多くのビッグデータ用途では、リアルタイムまたは高速な応答が求められる」と、ソウル大学のコンピュータサイエンス・工学分野の教授であるJihong Kimは述べている。「そのような用途にとって、BlueDBM」(MITとQuantaの研究者らのシステム)「は魅力的な解決策である。」
ビッグデータ分析を効率化する他の提案と比べて、Kimは次のように述べている。「BlueDBMの主な利点は、特化した加速機能を備えたはるかに大規模なストレージシステムへ容易に拡張できる点にあるかもしれない。」
本記事は、 MITとの協力により掲載されています。掲載は、世界経済フォーラムによる見解の支持を意味するものではありません。
アジェンダの最新情報を追うには、 週刊ニュースレターに登録してください。
著者:Larry Hardesty は MIT News の客員寄稿者です。
画像:本画像には電線が写っている。REUTERS.
