ある子どもに、さまざまな形の図形が描かれた絵が提示され、大きな赤い円を見つけるよう求められます。答えを導くために、彼女はいくつかの推論の段階を経ます。まず、大きいものをすべて見つけます。次に、赤い大きいものを見つけます。最後に、円である赤い大きいものを選び出します。
私たちは推論を通じて世界を解釈することを学びます。ニューラルネットワークも同様です。現在、MIT・リンカーン研究所の知能・意思決定技術グループの研究者チームが、画像の内容に関する質問に答えるため、人間のような推論の段階を実行するニューラルネットワークを開発しました。透明性設計ネットワーク（TbD-net）と名付けられたこのモデルは、問題を解決する過程での思考プロセスを視覚的に表示し、人間のアナリストがその意思決定プロセスを解釈できるようにします。このモデルは、今日の最高水準の視覚推論ニューラルネットワークよりも優れた性能を発揮します。
ニューラルネットワークがどのように決定に至るのかを理解することは、人工知能（AI）研究者にとって長年の課題でした。名称の「ニューラル」が示すとおり、ニューラルネットワークは、人間の学習方法を再現することを目的とした、脳に着想を得たAIシステムです。ニューラルネットワークは、入力層と出力層、そしてその間にあって入力を正しい出力へと変換する層から構成されます。一部の深層ニューラルネットワークは非常に複雑になり、この変換プロセスをたどることは事実上不可能になっています。そのため、これらは「ブラックボックス」システムと呼ばれ、その内部で何が起きているかは、それを構築したエンジニアにさえ不透明なままです。
TbD-netにより、開発者はこうした内部の仕組みを透明にすることを目指しています。透明性は、人間がAIの結果を解釈できるようにするため重要です。
たとえば、自動運転車で使用されるニューラルネットワークが、歩行者と一時停止標識の違いをどのように捉えているのか、また推論の連鎖のどの時点でその違いを認識するのかを正確に知ることは重要です。こうした洞察により、研究者はニューラルネットワークに誤った前提を修正するよう教えることができます。しかし、TbD-netの開発者は、今日の最良のニューラルネットワークには、人間が その推論プロセスを理解できるようにする効果的な仕組みが欠けていると述べています。
「視覚推論における性能の向上は、解釈可能性を犠牲にして実現されてきました」と、同僚の研究者であるアルジュン・マジュムダー、デイビッド・マシュカ、フィリップ・トランとともにTbD-netを構築したライアン・ソクラスキは述べています。
リンカーン研究所のグループは、TbD-netにより性能と解釈可能性の間のギャップを埋めることに成功しました。そのシステムの重要な要素の一つは、特定の下位タスクを実行するよう専門化された小規模なニューラルネットワークである「モジュール」の集合体です。TbD-netは、画像に関する視覚推論の質問を受けると、その質問を下位タスクに分解し、各部分を担当する適切なモジュールを割り当てます。組立ラインの作業者のように、各モジュールは直前のモジュールが把握した内容の上に積み上げ、最終的に正しい答えを導き出します。全体として、TbD-netは、人間の言語による質問を解釈して文を下位タスクに分割する一つのAI技術と、画像を解釈する複数のコンピュータービジョンAI技術を利用しています。
マジュムダーは次のように述べています。「複雑な推論の連鎖を、それぞれ独立して解決し組み合わせることができる、より小さな下位問題の系列に分解することは、推論のための強力で直感的な手段です。」
各モジュールの出力は、研究グループが「アテンションマスク」と呼ぶもので視覚的に示されます。アテンションマスクは、モジュールが答えとして特定している、画像内の物体の上に表示されるヒートマップ状の塊を示します。こうした視覚化により、人間のアナリストは、モジュールが画像をどのように解釈しているかを確認できます。
例として、TbD-netに対して次の質問が出されたとします。「この画像で、大きな金属製の立方体の色は何ですか？」この質問に答えるため、最初のモジュールは大きい物体のみを特定し、それらの大きい物体が強調表示されたアテンションマスクを生成します。次のモジュールは、この出力を受け取り、前のモジュールによって大きいと特定された物体のうち、どれが金属製でもあるかを見つけます。そのモジュールの出力は次のモジュールに送られ、そこで大きく金属製の物体のうち、どれが立方体でもあるかが特定されます。最後に、この出力は物体の色を判定できるモジュールに送られます。TbD-netの最終出力は「赤」であり、これが質問に対する正しい答えです。
テストの結果、TbD-netは、最高性能の視覚推論モデルを上回る成果を達成しました。研究者らは、70,000枚の学習用画像と700,000件の質問からなる視覚的質問応答データセットを用いてモデルを評価しました。テスト用および検証用には、15,000枚の画像と150,000件の質問のセットが用いられました。当初のモデルは、このデータセットにおいて98.7％のテスト精度を達成しました。研究者らによれば、これは他のニューラルモジュールネットワークベースの手法を大きく上回るものです。
重要な点として、研究者らは、このモデルの主要な利点である透明性のおかげで、その後さらに結果を改善することができました。モジュールが生成したアテンションマスクを確認することで、どこに問題があったのかを把握し、モデルを改良できたのです。最終的な結果は、99.1％の精度という最先端の性能でした。
「私たちのモデルは、視覚推論プロセスのあらゆる段階で、分かりやすく解釈可能な出力を提供します」と、マシュカは述べています。
解釈可能性は、深層学習アルゴリズムを人間と並んで配備し、複雑な現実世界の課題に取り組む場合に特に重要です。こうしたシステムへの信頼を築くためには、ユーザーが推論プロセスを検証できる必要があります。そうすることで、モデルがなぜ、どのようにして誤った予測をする可能性があるのかを理解できるのです。
知能・意思決定技術グループのリーダーであるポール・メッツガーは、この研究は「人間と機械の協働を促進する、応用機械学習研究および人工知能研究において世界的なリーダーになるというリンカーン研究所の取り組みの一環です」と述べています。
この研究の詳細は、論文「Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning」に記載されています。この論文は、今夏、コンピュータービジョンとパターン認識に関する国際会議（CVPR）で発表されました。
