人間は、物理的現実の法則について早期から理解を持っている。例えば乳児は、物体がどのように動き、互いに作用し合うべきかについて予測を持っており、手品のように物が消えるなど予想外のことが起きると驚きを示す。
今回、MITの研究者たちは、物体がどのように振る舞うべきかについての基本的な「直感的物理学」の理解を示すモデルを設計した。このモデルは、より賢い人工知能の構築に役立てられ、ひいては乳児の認知を理解する科学者への情報提供にもつながる可能性がある。
ADEPTと呼ばれるこのモデルは、シーン内を動き回る物体を観察し、その基礎となる物理法則に基づいて、物体がどのように振る舞うべきかを予測する。物体を追跡しながら、モデルは映像のフレームごとに「驚き」の度合いに対応する信号を出力する。信号が大きいほど、驚きも大きい。物体が、例えば消失したりシーン内を瞬間移動したりして、モデルの予測と劇的に食い違うと、その驚きの度合いは急上昇する。
物理的にもっともらしい動きと、もっともらしくない動きを示す映像に対し、モデルが記録した驚きの度合いは、同じ映像を見た人間が報告した度合いと一致した。
「生後3か月になるころには、乳児は物体が突然現れたり消えたりせず、互いをすり抜けたり瞬間移動したりしないということを、ある程度理解しています」と、筆頭著者でありブレイン・アンド・コグニティブ・サイエンス学部（BCS）の研究科学者であり、Center for Brains, Minds, and Machines（CBMM）のメンバーでもあるKevin A. Smithは述べている。「私たちは、その知識を捉えて形式化し、乳児の認知を人工知能エージェントに組み込むことを目指しました。今やモデルは、基本的にもっともらしくないシーンやもっともらしいシーンを見分ける点で、人間に近づきつつあります」
論文には、Smithとともに、共同筆頭著者として、電気工学・コンピュータサイエンス学部の学部生Lingjie Mei、およびBCSの研究科学者Shunyu Yaoが名を連ねている。さらに、Jiajun Wu（PhD ’19）、CBMM研究者Elizabeth Spelke、計算認知科学の教授であり、CBMM、BCS、そしてComputer Science and Artificial Intelligence Laboratory（CSAIL）の研究者でもあるJoshua B. Tenenbaum、そしてCBMM研究者Tomer D. Ullman（PhD ’15）が参加している。
食い違う現実
ADEPTは2つのモジュールに依拠している。生の画像から物体の表現を捉える「逆グラフィックス」モジュールと、物体の将来の表現を可能性の分布から予測する「物理エンジン」である。
逆グラフィックスは基本的に、ピクセル入力から、形状、姿勢、速度などの物体に関する情報を抽出する。このモジュールは映像のフレームを画像として捉え、逆グラフィックスを用いて、シーン内の物体からこの情報を抽出する。ただし、細部にとらわれることはない。ADEPTが機能するために必要なのは、各形状のおおよその幾何学的情報のみである。このことは一部、モデルが学習に用いた物体だけでなく、新しい物体についても予測を一般化する助けとなっている。
「物体が長方形か円か、トラックかアヒルかは問題になりません。ADEPTは、ある位置にあって、特定の方法で動いている物体があるということを見て、予測を行うのです」とSmithは言う。「同様に、幼い乳児も、物理的な予測を行う際に、形状のような一部の特性をあまり気にしていないように見えます」
これらの大まかな物体の記述は、物理エンジンに入力される。物理エンジンとは、剛体や流体などの物理系の振る舞いをシミュレートするソフトウェアで、映画、ビデオゲーム、コンピュータグラフィックスによく用いられている。研究者らの物理エンジンは、Ullmanによれば、「物体を時間的に前へ進める」という。これにより、次のフレームで物体に何が起こるかについて、一連の予測、すなわち「信念分布」が生成される。
次に、モデルは実際の次のフレームを観察する。再び、物体の表現を捉え、それを信念分布から予測された物体の表現の一つに対応づける。物体が物理法則に従っていれば、両者の表現にほとんど食い違いはない。一方、物体がもっともらしくない動きをした場合、例えば壁の背後から消えた場合は、大きな食い違いが生じる。
ADEPTはその後、信念分布から再サンプリングを行い、物体が単に消えた確率が非常に低いことを確認する。確率が十分に低い場合、モデルは大きな「驚き」を、信号の急上昇として記録する。基本的に、驚きは事象が発生する確率に反比例する。確率が非常に低ければ、信号の急上昇は非常に大きくなる。
「物体が壁の裏に入ると、物理エンジンは、その物体がまだ壁の裏にあるという信念を保持します。壁が取り払われ、何もなければ、食い違いが生じます」とUllmanは言う。「すると、モデルは『予測の中には物体があるのに、何も見えない。唯一考えられる説明は、物体が消えたということであり、だから驚きだ』と判断するのです」
期待への違反
発達心理学では、研究者が「期待への違反」テストを実施する。このテストでは、乳児に映像のペアを見せる。一方の映像は、物体が世界の仕組みについて期待される概念に従う、もっともらしい出来事を示す。もう一方の映像は、あらゆる点で同じだが、物体が何らかの形で期待に反する振る舞いをする。研究者は、もっともらしくない動作が起きた後、乳児がシーンをどのくらいの時間見つめているかを測定するために、これらのテストをよく用いる。研究者の仮説では、長く見つめるほど、直前に起きたことに驚いたり興味を持ったりしている可能性が高いという。
実験のため、研究者たちは、モデルの中核的な物体知識を検証するために、古典的な発達研究に基づくいくつかのシナリオを作成した。研究者は60人の成人を雇い、物理的にもっともらしいシナリオと、もっともらしくないシナリオが既知の64本の映像を見てもらった。例えば、物体が壁の裏に入り、壁が下がると、物体がそこにあるか、消えているかのいずれかである。参加者は、0から100まで段階的に上昇する尺度で、さまざまな時点での驚きの度合いを評価した。その後、研究者は同じ映像をモデルに見せた。具体的には、これらのシナリオは、モデルが永続性（物体は理由なく現れたり消えたりしない）、連続性（物体は連続した軌道に沿って動く）、固体性（物体は互いをすり抜けて動けない）という概念を捉える能力を検証するものであった。
ADEPTは、物体が壁の裏に入り、壁が取り払われると消えているような映像において、特に人間とよく一致した。興味深いことに、モデルは、人間が驚かなかったが、驚くべきだったかもしれない映像についても、驚きの度合いが一致した。例えば、ある速度で動く物体が壁の裏に消え、すぐに反対側から出てくる映像では、物体が壁の裏に入った際に劇的に加速したか、反対側に瞬間移動した可能性がある。全体として、人間とADEPTはどちらも、その出来事が驚くべきものであったかどうかについて確信が低かった。研究者らはまた、観察から物理を学習するが、物体を明示的に表現しない従来のニューラルネットワークは、驚くべきシーンと驚くべきでないシーンを区別する精度がはるかに低く、驚くべきシーンとして選ぶものも人間とあまり一致しないことを見出した。
次に研究者らは、乳児がどのように世界を観察し、学習するのかについてさらに掘り下げる計画であり、新たな知見をモデルに組み込むことを目指している。例えば研究では、一定の年齢までの乳児は、物体がある点で完全に変化しても、あまり驚かないことが示されている。例えば、トラックが壁の裏に消え、アヒルとして再び現れるような場合である。
「乳児のように世界を理解するために、さらに何を組み込む必要があるかを見極め、心理学について私たちが知っていることを形式化して、より優れたAIエージェントを構築したいと考えています」とSmithは言う。
