将来のロボットに人間の指示どおりに動いてもらいたいなら、ロボットは周囲の世界を包括的に理解する必要がある。たとえば、吠え声を聞いたとき、何がその音を出しているのか。犬はどんな姿をしていて、何を必要としているのか。
AI研究では従来、画像を認識する能力、音を特定する能力、テキストを理解する能力を、それぞれ別個の問題として扱い、個々の課題に適したアルゴリズムを構築してきた。一度に一つの感覚しか使えず、聞いたものと見たものを結び付けられないと想像してみてほしい。それが現在のAIであり、人間のように学習できるアルゴリズムの実現にはまだ遠い理由の一つだ。しかし、MITとGoogleによる二つの新しい論文は、AIに見る・聞く・読む力を総合的に持たせるための第一歩を示している。このアプローチは、機械に世界について教える方法を一変させる可能性がある。
「車を見ても、エンジン音を聞いても、同じ概念だとすぐに認識します。脳内の情報は自然に結び付いているのです」と語るのは、論文の共著者で、MITの博士研究員としてAIを研究するユスフ・アイタル氏だ。
アイタル氏が使う「結び付いている」という言葉が、ここでの重要な考え方だ。研究者たちはアルゴリズムに何か新しいことを教えるのではなく、ある感覚から別の感覚へ知識を結び付け、対応させる方法を作っている。アイタル氏は、自動運転車が救急車を目にする前にサイレンを聞く例を挙げる。救急車がどんな音や姿をしていて、どんな役割を持つかを知っていれば、自動運転車は周囲の車が減速して道を譲るよう備えられる。
このシステムを訓練するため、MITの研究チームはまず、音声と対応する動画のフレームをニューラルネットワークに見せた。ネットワークは動画内の物体と音声内の音を見つけた後、どの物体がどの音と関連するかを予測しようとした。たとえば、波はどの時点で音を立てるのだろうか。
次にチームは、似た状況を示すキャプション付き画像を同じアルゴリズムに入力し、写っている物体や動作と言葉を関連付けられるようにした。考え方は同じだ。まずネットワークは画像内で見つけられる物体と関連する言葉をそれぞれ特定し、その後、それらを対応付けた。
この説明だけでは、ネットワークはそれほど画期的に見えないかもしれない。そもそも、そうしたことを個別にできるAIはすでにある。しかし、音声と画像、画像とテキストを使って訓練すると、このシステムは、異なる音にどの言葉が対応するかを一度も学習していないにもかかわらず、音声とテキストを対応付けられるようになった。研究者たちは、これはネットワークが、見たり聞いたり読んだりしたものについて、情報を学習するのに使った媒体だけに全面的には依存しない、より客観的な捉え方を築いたことを示していると主張する。
物体についての捉え方を視覚、音、テキストの間で対応させられる一つのアルゴリズムなら、聞いて学んだことを見たものに自動的に応用できる。アイタル氏によれば、アルゴリズムがシマウマのいななきを聞くと、シマウマは馬に似ていると推測する。
「［シマウマが］動物だと知っていて、こうした種類の音を出すことも分かっているので、ある意味で自然に、この情報を異なるモダリティ間で応用します」とアイタル氏は言う。こうした推測によって、アルゴリズムは考えの間に新たなつながりを見つけ、世界への理解を深められる。
Googleのモデルも同様に動作するが、テキストを翻訳する機能も備えている。Googleは、ネットワークの動作について詳しく話す研究者の紹介を断った。ただし、このアルゴリズムは他の研究者が利用できるよう、オンラインで公開されている。
GoogleとMITのどちらの手法も、実際には単一用途のアルゴリズムより優れた性能を示さなかったが、アイタル氏は、そうであるのも長くは続かないと述べている。
「感覚が増えれば、精度も高まります」と同氏は語った。
