新しい技術は、機械学習モデルの推論を人間のものと比較します。
「Shared Interest」と呼ばれるこの手法は、推論がどの程度一致しているかを比較する定量的な指標を取り入れています。
これにより、ユーザーはモデルの意思決定における懸念すべき傾向を容易に見つけ出せる可能性があります。
例えば、モデルが写真の背景の物体のような、注意をそらす無関係な特徴に惑わされてしまうことがあるかもしれません。
機械学習において、理由を理解することは モデルがある判断を下す理由を理解することは、その判断が正しいかどうかと同じくらい重要であることが多いのです。例えば、機械学習モデルが皮膚病変を癌性であると正しく予測したとしても、それは臨床写真上の無関係な斑点を用いて行われた可能性があります。
専門家がモデルの推論を理解する助けとなるツールは存在しますが、これらの手法は一度に一つの判断についての洞察しか提供せず、それぞれを手作業で評価しなければならないことが多いのです。モデルは通常、数百万件のデータ入力を用いて訓練されるため、パターンを特定するのに十分な数の判断を人間が評価することはほぼ不可能です。
さて、MITおよびIBM Researchの研究者らは、ユーザーがこれらの個々の説明を集約、分類、ランク付けし、機械学習モデルの振る舞いを迅速に分析できる手法を開発しました。「Shared Interest」と呼ばれるこの技術は、モデルの推論が人間のそれとどの程度一致しているかを比較する定量的な指標を取り入れています。
Shared Interestは、ユーザーがモデルの意思決定における懸念すべき傾向を容易に見つけ出す助けとなります。例えば、モデルが写真の背景の物体のような、注意をそらす無関係な特徴に惑わされてしまうことがあるかもしれません。これらの洞察を集約することで、ユーザーはモデルが信頼に足り、実際の状況で展開する準備ができているかどうかを、迅速かつ定量的に判断できる可能性があります。
「Shared Interestの開発において、私たちの目標は、この分析プロセスを拡大し、モデルの振る舞いが何であるかをより全体的なレベルで理解できるようにすることです」と、筆頭著者であり、コンピュータ科学・人工知能研究所（CSAIL）のビジュアライゼーション・グループの大学院生であるAngie Boggust氏は述べています。
Boggust氏は、指導教員であり、ビジュアライゼーション・グループを率いるコンピュータ科学の助教授Arvind Satyanarayan氏、ならびにIBM ResearchのBenjamin Hoover氏および上席著者Hendrik Strobelt氏とともに本論文を執筆しました。本論文は、コンピューティングシステムにおけるヒューマンファクターに関する会議で発表される予定です。
Boggust氏は、IBMでの夏季インターンシップ中に、Strobelt氏の指導のもとでこのプロジェクトに着手しました。MITに戻った後、Boggust氏とSatyanarayan氏はプロジェクトを発展させ、Strobelt氏およびHoover氏との共同研究を継続しました。Hoover氏は、この技術が実際にどのように活用できるかを示すケーススタディの展開を支援しました。
人間と人工知能の整合性
Shared Interestは、機械学習モデルが特定の判断を下した方法を示す、一般的な技術である「サリエンシー手法」を活用しています。モデルが画像を分類している場合、サリエンシー手法は、判断を下した際にモデルにとって重要であった画像の領域を強調表示します。これらの領域は、「サリエンシーマップ」と呼ばれる一種のヒートマップとして可視化され、多くの場合、元の画像に重ねて表示されます。モデルが画像を犬と分類し、犬の頭部が強調表示された場合、それは、画像に犬が含まれていると判断した際に、そのピクセルがモデルにとって重要であったことを意味します。
Shared Interestは、サリエンシー手法を正解データ（グラウンドトゥルース）と比較することで機能します。画像データセットにおいて、正解データは通常、各画像の関連部分を囲む人間が作成した注釈です。前の例では、そのボックスが写真内の犬全体を囲むことになります。画像分類モデルを評価する際、Shared Interestは、同じ画像について、モデルが生成したサリエンシーデータと人間が作成した正解データを比較し、両者がどの程度一致しているかを確認します。
この技術は、いくつかの指標を用いてその一致（または不一致）を定量化し、特定の判断を8つのカテゴリのいずれかに分類します。カテゴリは、完全に人間と一致している状態（モデルが正しい予測を行い、サリエンシーマップ上で強調された領域が人間が作成したボックスと同一である）から、完全に注意をそらされている状態（モデルが誤った予測を行い、人間が作成したボックス内にある画像の特徴を一切使用していない）まで多岐にわたります。
「スペクトラムの一方の端では、モデルは人間とまったく同じ理由でその判断を下しており、もう一方の端では、モデルと人間はまったく異なる理由で同じ判断を下しています。データセット内のすべての画像についてそれを定量化することで、その定量化を用いて画像を仕分けることができます」とBoggust氏は説明します。
この技術は、画像領域ではなくキーワードが強調表示されるテキストベースのデータに対しても、同様に機能します。
迅速な分析
研究者らは、Shared Interestが非専門家と機械学習研究者の双方にとって有用であり得ることを示すために、3つのケーススタディを用いました。
第一のケーススタディでは、皮膚病変の写真から癌を診断する支援を目的として設計された機械学習モデルを、皮膚科医が信頼してよいかどうかを判断するためにShared Interestを用いました。Shared Interestにより、皮膚科医はモデルの正しい予測と誤った予測の例を迅速に確認できました。最終的に、皮膚科医は、このモデルが実際の病変ではなく画像のアーティファクトに基づく予測を多く行っていたため、信頼できないと判断しました。
「ここでの価値は、Shared Interestを用いることで、モデルの振る舞いにおいてこうしたパターンが現れるのを確認できる点です。約30分で、皮膚科医はモデルを信頼するか、また展開するかどうかについて、確信を持って判断することができました」とBoggust氏は述べています。
第二のケーススタディでは、機械学習研究者と協力し、Shared Interestがモデルにおいてこれまで知られていなかった落とし穴を明らかにすることで、特定のサリエンシー手法を評価できることを示しました。この技術により、研究者は、従来の手作業による一般的な方法に要する時間のわずかな時間で、数千件の正しい判断と誤った判断を分析することができました。
第三のケーススタディでは、Shared Interestを用いて、特定の画像分類の事例をさらに詳しく掘り下げました。画像の正解領域を操作することで、特定の予測にとってどの画像の特徴が最も重要であるかを確認する、もしもの分析（what-if分析）を実施することができました。
研究者らは、これらのケーススタディにおけるShared Interestの性能に感銘を受けましたが、Boggust氏は、この技術は基礎となるサリエンシー手法の質に依存するにすぎないと注意を促しています。それらの技術に偏りが含まれていたり不正確であったりすれば、Shared Interestもそれらの限界を引き継ぐことになります。
今後、研究者らはShared Interestを異なる種類のデータ、特に医療記録で用いられる表形式データに適用したいと考えています。また、現在のサリエンシー技術の改善に役立てるためにShared Interestを利用することも目指しています。Boggust氏は、この研究が、人間にとって理解しやすい方法で機械学習モデルの振る舞いを定量化することを目指す、さらなる取り組みを促すことを期待しています。
本研究は、一部、MIT-IBM Watson AI Lab、米国空軍研究所、および米国空軍人工知能アクセラレーターの支援を受けています。
