このコンピューターはテキストをアニメーションに変えます

科学者たちは、コンピューターに自然言語を理解させる技術や、一連の物理的なポーズを生成して現実的なアニメーションを作り出す技術において、大きな進歩を遂げてきました。しかし、これらの能力は本来別々の世界に存在していてもおかしくありません。自然言語と物理的なポーズとをつなぐ仕組みが欠けていたからです。

研究者たちは、「JL2P（Joint Language-to-Pose）」と呼ぶニューラルアーキテクチャを用いて、これらの世界を結びつけようとしています。JL2Pモデルにより、研究者は文と身体の動きを共同で埋め込むことができ、言語が行動、身振り、動きとどのように関係しているかを学習できます。

「この研究はまだ初期段階にあると考えていますが、モデリング、人工知能、理論の観点から見ると、非常に刺激的な時期です」と、カーネギーメロン大学言語技術研究所の准教授であるルイ＝フィリップ・モランシー氏は述べています。「現在は、仮想キャラクターのアニメーション化について話しています。将来的には、言語と身振りのこのつながりをロボットに応用できるかもしれません。たとえば、個人アシスタントロボットに、やってほしいことを単に伝えるだけでよくなる可能性があります。

「また、将来的には逆の方向も可能になるかもしれません。言語とアニメーションのこのつながりを使い、コンピューターが動画で何が起きているかを説明できるようにするのです」と同氏は付け加えています。

JL2Pを作成するにあたり、LTIの博士課程学生であるチャイタニヤ・アフジャ氏は、カリキュラム学習のアプローチを用いました。これは、モデルがまず短く簡単な系列（「人が前に歩く」）を学習し、その後により長く難しい系列（「人が前に一歩進んで振り返り、再び前に一歩進む」や「人が走りながら障害物を飛び越える」）を学習することに焦点を当てたものです。

動詞と副詞は動作とその速度・加速度を表し、名詞と形容詞は場所と方向を表します。アフジャ氏によれば、最終的な目標は、複数の動作が同時に、あるいは順番に行われる複雑な系列をアニメーション化することです。現時点では、アニメーションは棒人間を対象としています。

モランシー氏によると、単純な系列であっても同時に多くのことが起きているため、問題はさらに複雑になるとのことです。

「身体の各部位間の同期は非常に重要です」とモランシー氏は述べています。「脚を動かすたびに、腕や胴体、場合によっては頭も動かしています。身体のアニメーションは、これらのさまざまな要素を調整すると同時に、複雑な動作を実現する必要があります。言語による語りをこの複雑なアニメーション環境に取り込むことは、困難であると同時に刺激的でもあります。これは、音声と身振りをより深く理解するための道筋なのです。」

アフジャ氏は、カナダのケベックシティで開催される国際3DVision会議（International Conference on 3D Vision）でこの研究を発表する予定です。