MITの研究者らは、働く人々が人工知能システムと協働するのを支援する手法を開発した。
人間は、過去のやり取りや経験を踏まえて、複雑なタスクについて判断を下す。
研究者らはこれをモデルに取り入れ、個人がAIについて学べるようにした。
この手法に参加した人のうち、研修を受けた人のほぼ50％が、AIの能力を正確に理解した。
患者のX線画像をもとに病状を診断するため、ある多忙な病院の放射線科医が人工知能システムを利用している。AIシステムを使えば、より迅速に診断できる。しかし、そのAIの予測を信頼すべきかどうかを、どう判断すればよいのだろうか。
彼女には分からない。代わりに、自身の専門知識や、システム自体が示す信頼度、あるいはアルゴリズムがどのように予測を導き出したかの説明を頼りに判断するかもしれない。その説明は説得力があるように見えても、誤っていることがある。
AIの「チームメイト」を信頼すべき場面を人々がよりよく理解できるよう、MITの研究者らは、機械が正しい予測をする状況と誤った予測をする状況について、人間がより正確に理解できるよう導く導入研修の手法を開発した。
AIが人間の能力をどのように補うかを示すことで、この研修手法は、AIエージェントと協働する際に、人間がよりよい判断を下したり、より早く結論に至ったりするのを助ける可能性がある。
「人間をこのAIモデルに少しずつ慣れさせ、自分自身でその弱点と強みを確かめられるようにする教育段階を提案します」と、コンピューター科学・人工知能研究所（CSAIL）の臨床機械学習グループ、および医工学・科学研究所の大学院生であるフセイン・モザンナル氏は語る。「実際に人間がAIとやり取りする状況を模倣しながら、介入してフィードバックを提供し、AIとの個々のやり取りを理解できるよう支援します。」
モザンナル氏は、CSAILの可視化グループを率いるコンピューター科学の助教、アルヴィンド・サティヤナラヤン氏と、上席著者でありMITの電気工学・コンピューター科学の准教授、臨床機械学習グループの責任者でもあるデビッド・ソンタグ氏とともに論文を執筆した。この研究は2月に人工知能振興協会で発表される予定だ。
メンタルモデル
この研究は、人間が他者について形成するメンタルモデルに焦点を当てている。放射線科医が症例について確信を持てない場合、特定分野の専門家である同僚に相談することがある。その同僚についての過去の経験や知識をもとに、彼女は同僚の強みと弱みについてメンタルモデルを形成し、それを使って助言を評価する。
人間はAIエージェントとやり取りする際にも同じようなメンタルモデルを形成するため、そのモデルが正確であることが重要だとモザンナル氏は言う。認知科学によれば、人間は過去のやり取りや経験を思い出し、複雑なタスクについて判断を下す。そこで研究者らは、人間とAIが協働する代表的な例を示す導入プロセスを設計した。そうした例は、人間が将来参照できる基準となる。研究者らはまず、人間にAIについて最も効果的に教えられる例を特定するアルゴリズムを作成した。
「まず、AIの支援を受けずに人間の専門家が過去に下した判断を観察し、その偏りと強みを把握します」とモザンナル氏は言う。「人間についての知識とAIについて分かっていることを組み合わせ、人間がAIを頼りにすると役立つ場面を見極めます。次に、人間がAIを頼るべきケースと、頼るべきでない類似のケースを抽出します。」
研究者らは、文章をもとに質問に答えるタスクで導入研修の手法を検証した。ユーザーには文章と、その文章中に答えがある質問が提示される。ユーザーは質問に答え、「AIに回答させる」ボタンをクリックすることもできる。ただし、ユーザーは事前にAIの回答を見られないため、AIについてのメンタルモデルを頼りにする必要がある。研究者らが開発した導入プロセスでは、まずこうした例をユーザーに示し、AIシステムの助けを借りて予測を試みてもらう。人間もAIも正解する場合と間違える場合があるが、いずれの場合も例題を解いた後、ユーザーには正解と、AIがその予測を選んだ理由の説明が示される。例から一般化できるよう、AIがなぜ正解または不正解だったのかを説明する、対照的な2つの例も提示される。
例えば、植物学の教科書の複雑な文章をもとに、2種類の植物のうち、より多くの大陸に自生するのはどちらかを尋ねる研修問題があるとする。人間は自分で答えることも、AIシステムに回答させることもできる。その後、AIの能力をよりよく把握するための追加例が2つ示される。例えば、果物に関する追加の質問ではAIが間違え、地質学に関する質問では正解するかもしれない。それぞれの例では、システムが予測を導き出す際に使った言葉が強調表示される。強調された言葉を見ることで、AIエージェントの限界を理解しやすくなるとモザンナル氏は説明する。
学んだことをユーザーが覚えておけるよう、次にユーザーは、この指導例から推測したルールを書き留める。例えば、「このAIは花を予測するのが苦手だ」といったルールだ。実際にエージェントと作業する際、後でそのルールを参照できる。こうしたルールは、ユーザーが持つAIのメンタルモデルを形式化したものでもある。
指導の効果
研究者らは、この指導手法を3つの参加者グループで検証した。1つ目のグループは導入研修の全過程を受け、別のグループは比較用の追加例を提示されなかった。対照群は指導を受けなかったが、AIの回答を事前に見ることができた。
「指導を受けた参加者は、指導を受けずにAIの回答を事前に見られた参加者と同じくらい良い成績でした。つまり、回答を見た場合と同じように、AIの回答を予測できたということです」とモザンナル氏は言う。
研究者らは、参加者一人ひとりが書いたルールを調べるため、データをさらに詳しく分析した。その結果、研修を受けた人のほぼ50％が、AIの能力について正確な教訓を書き留めていた。正確な教訓を書いた人は例題の63％に正解したのに対し、正確な教訓を書かなかった人の正解率は54％だった。また、指導を受けずにAIの回答を見られた人は、質問の57％に正解した。
「指導がうまくいけば、大きな効果があります。ここで得られた重要な知見はそれです。参加者を効果的に指導できれば、答えをそのまま教えた場合よりも、参加者の成績が向上します」と彼は言う。
一方、結果からは依然として隔たりがあることも分かる。研修を受けてAIについて正確なメンタルモデルを形成した人はわずか50％で、その人たちも正解率は63％にとどまった。正確な教訓を学んでも、必ずしも自分で定めたルールに従うとは限らなかったとモザンナル氏は言う。
研究者らを悩ませている疑問の一つは、人々がAIは正しいはずだと分かっていても、なぜ自分自身のメンタルモデルに従わないのかということだ。研究者らは今後、この疑問を探るとともに、所要時間を短縮できるよう導入プロセスを改良したいと考えている。また、特に医療現場で、より複雑なAIモデルを使ったユーザー調査を実施することにも関心を寄せている。
この研究は、米国立科学財団の一部助成を受けた。
