研究者チームは、AIが特定の質問に対する答えにどうたどり着いたのかを説明できる「通訳」を開発し、人間と人工知能（AI）の間に信頼を築こうとしている。
自動運転車や自律型ドローンの時代を迎え、AIは私たちの生活でますます大きな役割を担っている。AIの能力もますます高まっている。今日のAIは、テキストを認識し、顔で人を見分け、ある程度は物体を特定することさえできる。しかし、最も優れたAIシステムでさえ、いまだにしばしば間違いを犯す。
ボストン大学でコンピューターサイエンスの助教を務めるケイト・サエンコ氏は、これは大きな問題だと語る。
「AIツールが間違いを犯すと、人間の利用者はすぐにそのツールを信用しなくなり、やがて完全に使わなくなります」と同氏は言う。「人間は本来、機械に言われたことをただ受け入れるものではないと思います」
同氏が指摘するさらなる問題は、AIの性能が高まるにつれて、それを動かすアルゴリズムが人間の利用者にとってますます不透明になっていることだ。情報が計算上の「ブラックボックス」の一方から入り、答えがもう一方から出てくる。しかし、その答えを導くために用いられた一連の規則や推論は見えない。
サエンコ氏は、この関係を変えようとしている。同氏の研究は、AIの「心」の内側を探る新たな方法を見つけ、人間の利用者に意思決定の過程を説明する翻訳ツールを開発することを目指している。
一見すると、この目標は些細なことに思えるかもしれない。コンピューターがどう答えにたどり着いたかなど、正解であれば誰が気にするだろうか。しかし、AI機器が特定の判断を下した理由についてフィードバックを得ることは、人間が小さな軌道修正を提案する機会を生み、最終的には精度の向上に役立つ可能性があるとサエンコ氏は言う。
その過程で、人間が機械に寄せる信頼が高まり、複雑な仕事でより優れた協働相手となる可能性がある。ただし、今日のAIでそのような透明性を実現するのは、簡単ではないかもしれない。
新しいタイプのAI
AIの心の内側を探ることが、常に難しかったわけではない。かつては、顔認識など多くの人工知能システムが、プログラマーがあらかじめ定めた規則や指針を使っていた。肌の色を定義する規則、鼻を構成する形を定める規則、光と影を定義する規則などだ。利用者が作ったこうした概念はすべて、AIが仕事をするための枠組みとして、最初からコードに書き込まれていた。
この方法なら、機械がどのように結論に至ったのかを比較的簡単に突き止められる。そこに至るまでに使った事前設定済みの規則を特定すればよいからだ。一方で、AIの能力を根本的に制限する。現実の世界は非常に複雑であり、最高の人間のプログラマーでさえ、コンピューターが世界を理解するために使うかもしれないあらゆる規則を考え出すことはできない。
「たとえば、世界中のどんな画像にも写りうる犬のあらゆる姿を予測するのは、私たちには非常に難しいことです」とサエンコ氏は言う。「十分な処理能力とデータがあるなら、コンピューターに犬の写真を100万枚見せて、自分で犬を定義させるほうがよいでしょう」
ここ5年ほどで、この方法はAIの分野で広く使われるようになった。単一のひな型を使うのではなく、こうした新しいシステムは、私たち自身の神経系の働きをモデルにした、より反復的なアプローチを採用している。
「ディープニューラルネットワーク」と呼ばれるこれらの新しいタイプのAIは、相互につながった膨大な数の関数、つまりノードを広大な網の目状に配置している。各ノードはごく少量の情報を処理し、その前のノードの処理結果を段階的に積み重ねていく。
単純なデータを少しずつ積み重ねるこの段階的な処理は、ディープニューラルネットワークの中核にある。これによりAIは柔軟で高速かつ強力になり、システムによっては95％を超える精度で動作できる。しかし、精度が十分でないわずかなケースでは、ディープニューラルネットワークがなぜ間違えたのかを突き止めるのは非常に難しい。ニューラルネットワークは処理を進めながら全体的な指針を作り出すため、参照できる事前設定済みの定義がないからだ。
「こうしたモデルが処理できるパラメーターの数が膨大だからこそ、自動翻訳のような画像や言語のタスクで優れた性能を発揮してきました。大量のデータを取り込めるのです」と、共同研究者でカリフォルニア大学バークレー校のトレバー・ダレル氏は言う。「しかし、パラメーターが非常に多いため、内部の構造を直接取り出して解釈するのはとても困難です」
AIの「通訳」を開発する
サエンコ氏とダレル氏は、オランダのアムステルダム大学の同僚ゼイネプ・アカタ氏、およびオープンソースソフトウェア企業キットウェアと協力し、ディープニューラルネットワークの内部を解明して、より理解しやすくする方法に取り組んでいる。
研究者らによると、このようなネットワークに自己説明を求めると、速度と効率が低下する可能性が高い。そのため、最初のネットワークと並行して動作し、その判断をリアルタイムで解釈して人間の利用者に伝える、第二のネットワークという翻訳ツールの開発を目指している。
「主要なニューラルネットワークは、自分の仕事をしているだけです。たとえば画像の中からドアや窓を見つけるなど、処理のすべてをタスクの解決に充てています」とサエンコ氏は言う。「だからこそ、その仕組みと入力データにアクセスでき、それらすべてを人間が理解できる文章に翻訳する方法を学べる第二のニューラルネットワークを使いたいのです」
サエンコ氏によると、この翻訳は重要だ。ディープニューラルネットワークが間違いを犯す場合、現実世界とは少し合わないデータ内のパターンを見つけたことが原因である可能性が高いからだ。たとえば、整備状態の悪い道路を自動運転車が走行しているとき、影を大きな穴だと思い込んで停止するかもしれない。
その場合、「通訳」AIは、平易な英語で利用者に追加情報を求めることができる。「『穴なのか影なのか確信が持てなかったので運転を停止しました。ここでどうすればよいか教えてください』と言えるようにしたいのです」と同氏は言う。
「将来、私たちは人間とコンピューターの協働という形でAIを使うようになるでしょう。AIと意思疎通し、その強みを理解し、何が得意なのかを知る必要があります。そうすれば、ペタバイト規模の動画からコンテンツを特定するために仕分ける、といった私たちがあまり得意でない作業をAIが支援できます」とサエンコ氏は言う。「私はこれを超人間を生み出すことだと考えています。人間とAIの協働です」
サエンコ氏の研究は、国防高等研究計画局（DARPA）の助成金によって資金提供を受けている。
