機械の意思決定プロセスは複雑な場合があります。
このプロセスの問題の一つは、機械が人間には意味をなさない細部に基づいて、確信度の高い予測を行うことです。
これは「過剰解釈」と呼ばれています。
以下では、この問題とその解決方法を探ります。
ニューラルネットワークは多くのことを実現できますが、私たちは今もその仕組みを本当には理解していません。確かに、学習するようプログラムすることはできます。しかし、機械の意思決定プロセスを理解することは、目がくらむほど複雑な模様を描いた精巧なパズルのようなもので、重要なピースがまだ数多くはめ込まれていません。
たとえば、モデルがこのパズルの画像を分類しようとした場合、よく知られてはいるものの厄介な敵対的攻撃や、より一般的なデータまたは処理上の問題に遭遇する可能性があります。しかし、MITの科学者たちが最近特定した、より新しく、より微妙な種類の失敗も懸念材料です。それは「過剰解釈」です。アルゴリズムが、ランダムなパターンや画像の縁のように、人間には意味をなさない細部に基づいて確信度の高い予測を行う現象です。
これは、自動運転車の一瞬の判断や、迅速な対応が必要な病気の医療診断など、重大な結果を伴う状況では特に懸念されます。とりわけ自動運転車は、周囲の状況を正確に理解し、迅速かつ安全に判断できるシステムに大きく依存しています。このネットワークは、画像内のほかの要素に関係なく、特定の背景や縁、空の特定のパターンを使って信号機や道路標識を分類していました。
研究チームは、CIFAR-10やImageNetのような一般的なデータセットで学習したニューラルネットワークに、過剰解釈が見られることを突き止めました。たとえば、CIFAR-10で学習したモデルは、入力画像の95％が欠け、残りの部分も人間には意味をなさない場合でさえ、確信度の高い予測を行いました。
「過剰解釈は、データセット内のこうしたナンセンスなシグナルが原因で生じる、データセットの問題です。確信度の高い予測を生むこれらの画像は認識できないだけでなく、縁など重要でない領域に、元の画像の10％未満しか含んでいません。こうした画像は人間にとって意味がないにもかかわらず、モデルは高い確信度で分類できることがわかりました」と、MITコンピューター科学・人工知能研究所の博士課程学生で、この研究に関する論文の筆頭著者であるブランドン・カーターは述べています。
深層学習による画像分類器は広く使われています。医療診断や自動運転技術の向上に加え、セキュリティやゲームにも利用されており、何かがホットドッグかどうかを判定するアプリまであります。ときには確認して安心したいものです。ここで取り上げる技術は、ネットワークが「学習」できるよう、事前にラベル付けされた大量の画像から個々のピクセルを処理します。
画像分類が難しいのは、機械学習モデルがこうした意味をなさない微妙なシグナルを捉えてしまう可能性があるためです。そして、ImageNetなどのデータセットで画像分類器を学習させると、それらのシグナルに基づいて、一見信頼できそうな予測を行うことがあります。
こうした意味をなさないシグナルは、現実世界でモデルの脆弱性につながる可能性がありますが、データセット内では実際に有効なシグナルです。そのため、精度に基づく一般的な評価方法では、過剰解釈を診断できません。
特定の入力に対するモデルの予測根拠を見つけるため、本研究の手法では画像全体から始め、「この画像から何を取り除けるか」と繰り返し問いかけます。つまり、確信を持って判断できる最小の部分だけが残るまで、画像を覆い隠していきます。
そのため、こうした手法を検証基準の一種として使うことも可能でしょう。たとえば、学習済みの機械学習手法で一時停止標識を認識する自動運転車があるとします。その手法を検証するには、一時停止標識を構成する最小の入力部分を特定できます。それが木の枝や特定の時刻、あるいは一時停止標識ではない何かであれば、本来止まるべきでない場所で車が停止するおそれがあると考えられます。
ここではモデルが原因のように思えるかもしれませんが、問題はむしろデータセットにある可能性が高いでしょう。「人間が画像を分類するときの考え方に、モデルがより近づけるよう学習させ、ひいては自動運転や医療診断といった現実の状況で、より適切に一般化できるようにするには、データセットをどのように変更すればよいのか、という課題があります。そうすれば、モデルがこのようなナンセンスな振る舞いをしなくなることが期待できます」とカーターは述べています。
そのためには、より管理された環境でデータセットを作成する必要があるかもしれません。現在は、公開領域から取得した写真を分類しています。しかし、たとえば物体を識別したい場合、背景に有用な情報がない物体を使ってモデルを学習させる必要があるかもしれません。
この研究は、Schmidt Futuresと米国国立衛生研究所の支援を受けました。カーターは、Amazonの科学者であるシッダールタ・ジェイン、ジョナス・ミューラー、およびMIT教授のデイヴィッド・ギフォードとともに論文を執筆しました。彼らは2021年の神経情報処理システム会議で研究成果を発表します。
