人工ニューラルネットワークに基づく深層学習モデルは大きく発展しましたが、その複雑さゆえに、正しく機能しているかどうかは明らかではありません。
研究者たちは、機械学習がどのように、また正しく機能しているかを示すため、3つの「説明手法」を開発しました。特徴帰属、反実仮想説明、サンプル重要度説明です。
これにより、意思決定者はいつAIを信頼し、その助言を実践に生かすべきかを判断できるようになります。
機械学習が医療から教育まで、より多くの分野に広がるにつれ、説明手法の重要性は高まっていますが、なお改善が必要です。
約10年前、深層学習モデルは、世界チャンピオンを打ち負かすなど、さまざまな課題で人間を超える成果を上げ始めました。ボードゲームの対局者から医師を上回る乳がんの診断に至るまでです。
こうした強力な深層学習モデルは、通常、人工ニューラルネットワークに基づいています。人工ニューラルネットワークは1940年代に初めて提唱され、機械学習の代表的な手法となりました。コンピューターは、人間の脳を模した、相互に接続されたノード、つまりニューロンの層を使ってデータを処理する方法を学びます。
機械学習の分野が成長するにつれて、人工ニューラルネットワークも発展してきました。
現在、深層学習モデルは、多くの場合、何百万、あるいは何十億もの相互接続されたノードが幾層にも重なって構成され、膨大なデータを使って検出や分類のタスクを実行するよう学習されています。しかし、モデルはあまりにも複雑なため、設計した研究者でさえ、その仕組みを完全には理解していません。そのため、正しく機能しているかどうかを把握するのは困難です。
例えば、医師による患者の正確な診断を支援するために設計されたモデルが、皮膚病変をがん性と正しく予測したとします。しかし、画像内のがん組織そのものではなく、がん組織がある場合にしばしば一緒に写る無関係な印に注目して、その予測を出したのかもしれません。これは見せかけの相関として知られています。モデルは予測を当てていますが、その理由は間違っています。実際の臨床現場で、がん陽性画像にその印が現れなければ、診断を見逃すことにつながりかねません。
いわゆる「ブラックボックス」モデルをめぐってこれほど不確実性があるなか、箱の中で何が起きているのか、どうすれば解き明かせるのでしょうか。
この難問をきっかけに、新たな研究分野が急速に広がっています。研究者たちは、ブラックボックスの機械学習モデルがどのように予測を行うのかを明らかにするため、説明手法（解釈可能性手法とも呼ばれます）を開発し、検証しています。
説明手法とは何か
最も基本的な分類では、説明手法には全体的なものと局所的なものがあります。局所的な説明手法は、モデルが特定の1つの予測をどのように導いたかの説明に焦点を当てます。一方、全体的な説明は、モデル全体の振る舞いを記述しようとします。そのために、より大きなブラックボックスモデルを模倣する、別個の、より単純で（できれば理解しやすい）モデルを開発することがよくあります。
しかし、深層学習モデルは本質的に複雑で非線形な仕組みで動くため、効果的な全体説明モデルの開発は特に困難です。そのため研究者たちは、近年の研究の多くを局所的な説明手法に振り向けるようになったと、解釈可能な機械学習におけるモデル、アルゴリズム、評価を研究する、コンピューター科学・人工知能研究所（CSAIL）のインタラクティブ・ロボティクス・グループの大学院生、イールン・ジョウ氏は説明します。
最もよく使われる局所的な説明手法は、大きく3つのカテゴリーに分けられます。
最初に挙げられる、最も広く使われている説明手法は、特徴帰属です。特徴帰属手法は、モデルが特定の判断を下す際に、どの特徴が最も重要だったかを示します。
特徴とは、機械学習モデルに入力され、その予測に使われる変数です。データが表形式の場合、特徴はデータセットの列から取られます（モデルが生データを処理できるよう、さまざまな手法で変換されます）。一方、画像処理では、画像の各ピクセルが特徴です。例えば、モデルがX線画像にがんが写っていると予測した場合、特徴帰属手法は、その予測に最も重要だった当該X線画像内のピクセルを強調表示します。
要するに、特徴帰属手法は、モデルが予測を行う際に何に最も注目しているかを示します。
「この特徴帰属の説明を使えば、見せかけの相関が問題になっていないか確認できます。例えば、透かしのピクセルが強調表示されているのか、実際の腫瘍のピクセルが強調表示されているのかが分かります」とジョウ氏は言います。
2つ目の説明手法は、反実仮想説明です。入力とモデルの予測が与えられると、この手法は、入力をどのように変えれば別のクラスに分類されるかを示します。例えば、機械学習モデルが借り手の融資を拒否すると予測した場合、反実仮想説明は、融資申請が承認されるにはどの要因を変える必要があるかを示します。承認を得るには、モデルの予測に使われた特徴である信用スコアや収入を、より高くする必要があるのかもしれません。
「この説明手法の利点は、判断を覆すために入力をどう変えればよいかを正確に教えてくれることです。実用的な使い道があります。住宅ローンを申請して通らなかった人に対して、この説明は望む結果を得るために何をすればよいかを示してくれます」と同氏は言います。
説明手法の3つ目のカテゴリーは、サンプル重要度説明です。他の手法とは異なり、この手法を使うにはモデルの学習に使われたデータへのアクセスが必要です。
サンプル重要度説明は、モデルが特定の予測を行う際に、どの学習サンプルに最も依拠したかを示します。理想的には、そのサンプルは入力データに最もよく似たものです。一見不合理な予測が見られた場合、この説明手法は特に役立ちます。モデルの学習に使われた特定のサンプルに影響するデータ入力ミスがあったのかもしれません。それが分かれば、そのサンプルを修正してモデルを再学習させ、精度を高めることができます。
説明手法はどのように使われるのか
こうした説明を開発する動機の1つは、品質保証やモデルのデバッグに役立てることです。例えば、特徴がモデルの判断にどう影響するかをより深く理解できれば、モデルが正しく機能していないことを特定し、問題を修正するために介入したり、モデルを破棄して一からやり直したりできます。
もう1つの、比較的新しい研究分野では、人間がこれまで発見していない科学的パターンを見つけるために、機械学習モデルを利用する方法が探られています。例えば、臨床医を上回るがん診断モデルには欠陥があるのかもしれません。一方で、人間の医師には知られていない、あるいは無関係だと思われていた、がんの初期病理経路を示すX線画像内の隠れたパターンを実際に捉えている可能性もあります、とジョウ氏は言います。
しかし、この研究分野はまだ始まったばかりです。
注意すべき点
説明手法は、機械学習の実務者がモデルのバグを見つけたり、システムの内部の仕組みを理解したりする際に役立つことがあります。しかし、実際に使おうとするエンドユーザーは慎重になるべきだと、CSAILのヘルシーMLグループの責任者で助教のマルジエ・ガセミ氏は言います。
機械学習が医療から教育まで、より多くの分野で導入されるにつれ、意思決定者がモデルの予測をよりよく理解し、いつモデルを信頼してその助言を実践に生かすべきかを判断できるよう、説明手法が使われています。しかしガセミ氏は、こうした目的での手法の利用に警鐘を鳴らしています。
「説明があると、専門家もそうでない人も、特定の推薦システムの能力や助言を過信するようになることが分かりました。人間は、『与えられた助言を疑ってみよう』と問いかける内なる回路を働かせ続けることがとても重要だと思います」と彼女は言います。
『与えられた助言を疑ってみよう』と問いかける内なる回路を働かせ続けることがとても重要だと思います」と彼女は言います。
科学者たちは、説明が人々を過信させることを把握しています。 説明が人々を過信させることは、他の最近の研究からも分かっていると彼女は付け加え、マイクロソフトの研究者による最近の 研究を挙げています。
説明手法は万能薬とはほど遠く、問題も少なくありません。まず、ガセミ氏の最近の研究では、説明手法がバイアスを温存し不利な立場にある集団の人々に、より悪い結果をもたらす可能性が示されています。
説明手法のもう1つの落とし穴は、そもそも説明が正しいかどうかを判断するのがしばしば不可能なことです。説明を実際のモデルと比較する必要がありますが、ユーザーはモデルの仕組みを知らないため、これは循環論法になるとジョウ氏は言います。
同氏ら研究者は、説明が実際のモデルの予測をより忠実に反映するよう、説明手法の改善に取り組んでいます。しかし、どれほど優れた説明でも割り引いて受け止めるべきだとジョウ氏は注意を促します。
「さらに、人々は一般に、こうしたモデルを人間のような意思決定者だと捉えがちで、私たちは過度に一般化する傾向があります。局所的な説明から人々が構築するモデルの一般的な理解が偏りのないものになるよう、冷静さを促し、行き過ぎを抑える必要があります」と同氏は付け加えます。
ジョウ氏の最新の研究は、まさにそれを目指しています。
機械学習の説明手法の今後は？
説明を提供することに焦点を当てるのではなく、意思決定者が情報を理解できるよう、その提示方法を研究コミュニティがもっと研究する必要があるとガセミ氏は主張します。また、機械学習モデルが実際に責任を持って使われるよう、規制をさらに整備する必要があります。説明手法の改善だけでは解決になりません。
「産業界でも、情報をきれいなダッシュボードに載せれば人々の業務が改善すると安易に考えることはできない、という認識が大きく広がっているのを見て、心強く思っています。実際の行動に測定可能な改善が必要です。それをきっかけに、医療のような高度に専門的な分野で情報の表示方法を改善するための、実効性のある指針が生まれることを期待しています」と彼女は言います。
説明の改善に焦点を当てた新たな研究に加え、ジョウ氏は、モデルのデバッグ、科学的発見、公平性の監査、安全性の保証など、特定の用途に応じた説明手法の研究がさらに進むと見ています。説明手法の細かな特性と、用途ごとの要件を特定すれば、研究者は説明を具体的な状況に対応させる理論を構築できるかもしれません。それにより、実社会での利用に伴う落とし穴のいくつかを乗り越えられる可能性があります。
