本記事は MIT Newsとの協力により公開されたものです。
MITのコンピュータ科学・人工知能研究所（CSAIL）の研究者たちは、画像がどれほど記憶に残るか、あるいはどれほど忘れられやすいかを、ほぼ人間と同程度の精度で予測するアルゴリズムを開発しました。さらに、写真をさりげなく調整して記憶に残りやすくするアプリへの転換も計画しています。
写真ごとに、「MemNet」アルゴリズムは、 オンライン で自分の写真をアップロードして試すことができるもので、画像のどの部分が最も記憶に残るかを正確に示すヒートマップも作成します。
「記憶に残りやすさを理解することは、最も重要な情報を捉えるシステムを作る助けになります。あるいは逆に、人間がおそらく忘れてしまう情報を保存するためにも役立ちます」と、関連論文の筆頭著者であるCSAILの大学院生アディティヤ・コスラ氏は語ります。「視覚的なメッセージを誰かがどれほど覚えていそうかを教えてくれる、即時のフォーカスグループを持つようなものです。」
チームメンバーは、広告やソーシャルメディア投稿の内容改善から、より効果的な教材の開発、さらには物事を覚えるのを助ける個人用の「健康アシスタント」機器の作成まで、さまざまな応用の可能性を想定しています。
プロジェクトの一環として、チームは世界最大の画像の記憶されやすさに関するデータセット「LaMem」も公開しました。6万枚の画像それぞれに、人気度や感情的インパクトといった特性に関する詳細なメタデータが付与されています。LaMemは、チームが十分に研究されてこなかったテーマとみなす分野について、さらなる研究を促すための取り組みです。
本論文は、CSAILの大学院生アキル・ラジュ氏、アントニオ・トラルバ教授、そして本研究の上級研究者を務める主任研究科学者オード・オリバ氏によって共同執筆されました。コスラ氏は今週、チリで開催される国際コンピュータビジョン会議（International Conference on Computer Vision）でこの論文を発表します。
仕組み
チームは以前、同様のアルゴリズムを 顔の記憶されやすさの予測向けに開発していました。新しいアルゴリズムで注目すべき点は、ほぼ人間並みの性能を発揮できるようになったことに加え、「ディープラーニング」の手法を用いていることです。これは人工知能の一分野で、「ニューラルネットワーク」と呼ばれるシステムを使い、コンピュータが膨大なデータを自ら精査してパターンを見つけ出せるように学習させるものです。
こうした技術は、AppleのSiri、Googleのオートコンプリート、Facebookの写真タグ付けを支えるものであり、また、これらの巨大テック企業にディープラーニング系スタートアップへの数億ドルもの投資を促してきたものでもあります。
「ディープラーニングは物体認識やシーン理解の大きな進歩をもたらしてきましたが、人間の記憶の予測は、コンピュータ科学者が決して取り組めない高次の認知プロセスとみなされることが多かったのです」とオリバ氏は語ります。「さて、私たちはそれを可能にし、実際にやってのけました！」
ニューラルネットワークは、データの根底にある原因や相関が何であるかについて人の指示を一切受けることなく、データ同士の相関を見つけ出す仕組みです。処理ユニットの層に編成されており、各層は順番にデータに対してそれぞれランダムな計算を行います。ネットワークがより多くのデータを受け取るにつれて、より正確な予測を出せるよう自己調整を行います。
チームは、LaMemや、シーン中心の SUN および Places （いずれもCSAILで開発されたもの）を含む、複数の異なるデータセットからの数万枚の画像をアルゴリズムに入力しました。各画像には、オンライン実験において人間の被験者がそれを記憶できた度合いに基づく「記憶スコア」が付与されていました。
チームはその後、アルゴリズムを人間の被験者と競わせ、モデルに、一群の人々が未見の新しい画像をどれほど記憶に残ると感じるかを予測させました。その結果、既存のアルゴリズムより30パーセント高い性能を示し、人間の平均的な性能との差は数パーセントポイント以内でした。
各画像について、アルゴリズムは画像のどの部分が最も記憶に残るかを示すヒートマップを生成します。異なる領域を強調することで、画像の記憶されやすさを高められる可能性があります。
「CSAILの研究者たちは顔についてこのような操作を行ってきましたが、それを一般的な画像にまで広げられたことには感銘を受けています」と、 アレクセイ・エフロス（カリフォルニア大学バークレー校コンピュータ科学学部准教授）は語ります。「顔の見た目を、たとえば『笑顔』にするといった形で比較的容易に変えられる一方、あらゆる画像の種類について一般化することははるかに困難です。」
今後の展望
この研究は、人間の記憶の性質についても予期せぬ形で示唆を与えました。コスラ氏は、被験者に最も記憶に残る画像だけを見せた場合、すべてを覚えてくれるのだろうかと疑問に思っていたといいます。
「人々は慣れてしまい、以前と同じくらい多くのことを忘れるだろうと予想されるかもしれませんが、私たちの研究はそうではないことを示唆しています」と彼は語ります。「つまり、記憶に残る画像を提示すれば、人々の記憶力を向上させられる可能性があるということです。」
チームは次に、特定の個人の記憶を予測できるようシステムを更新すること、また小売りの衣料品やロゴデザインなど、個別の「専門産業」に合わせてより適切に調整することを目指す計画です。
「この種の研究は、人々が注意を向ける視覚情報についての理解を深めてくれます」とエフロス氏は語ります。「マーケター、映画制作者、その他のコンテンツ制作者にとって、何かを見ている際の人の心的状態をモデル化できることは、探求すべき刺激的な新しい方向性です。」
本研究は、米国国立科学財団の助成金、マクガバン研究所のニューロテクノロジー・プログラム、CSAILのMIT Big Data Initiative、GoogleおよびXeroxからの研究助成、そしてNvidiaからのハードウェア寄贈によって支えられています。
掲載は、世界経済フォーラムによる見解の支持を意味するものではありません。
アジェンダの最新情報を把握するには、 週刊ニュースレターに登録してください。
執筆者：アダム・コナー＝シモンズ氏は、マサチューセッツ工科大学（MIT）のコミュニケーション・コーディネーターです。
画像：アーティストのオラファー・エリアソンによる太陽の巨大な作品。REUTERS/Peter MacDiarmid。
