研究者たちは、予期せぬ出来事に人工知能が適応できるよう、デジタル版モノポリーのゲームを変更しました。
その方法として、プレイヤーが「GO」を通過するたびに200ドルを受け取る代わりに、富裕税を課すようにしました。
このような実験により、クレジットカードの承認の可否を判断するような複雑な評価など、より大規模な現実世界の状況におけるAIの機能が向上する可能性があります。
私の同僚と私は、デジタル版モノポリーを変更しました。プレイヤーが「GO」を通過するたびに200米ドルを受け取る代わりに、富裕税を課すようにしたのです。これは有利に立つためや、誰かを欺くためではありません。目的は、ゲームをプレイする人工知能エージェントに意表を突く課題を投げかけることです。
私たちの目標はエージェントが学習できるようにすることであり、予期せぬ出来事に対処できるようにすることです。これまでのAIはこれが非常に苦手でした。このような適応力をAIに持たせることは、手術ロボットのような未来型システムにとって重要であるだけでなく、現在においても、保釈の対象者を決定する、誰がクレジットカードの審査に通るべきかを決定する、クレジットカードの審査に通る、そして誰の履歴書が採用担当者まで届くかを決定するアルゴリズムにとっても重要です。これらのいずれの状況においても、予期せぬ事態にうまく対処できなければ、深刻な結果を招きかねません。
AIエージェントには、人間に近い方法で新奇性を検知し、特徴づけ、適応する能力が必要です。ある状況が、直接的または間接的に、エージェントの外部世界のモデル（他のエージェント、環境、およびそれらの相互作用を含む）に疑問を投げかける場合、その状況は新奇なものです。
ほとんどの人は新奇な事態に完璧な方法で対処するわけではありませんが、失敗から学び、適応することはできます。モノポリーで富裕税を課されたとき、人間のプレイヤーは、GOに近づいた際には国税庁に支払うための現金を用意しておくべきだったと気づくかもしれません。物件やモノポリーの獲得に攻撃的に力を注ぐAIプレイヤーは、手遅れになるまで、現金と非流動資産の適切なバランスに気づけないかもしれません。
オープンワールドにおける新奇性への適応
強化学習は、主として「超人的」なゲームプレイAIエージェントや、自動運転車のような応用の原動力となっている分野です。強化学習は、報酬と罰を用いて、AIエージェントが試行錯誤を通じて学習できるようにします。これは、より広い分野である機械学習の一部です。
機械学習における「学習」は、こうしたシステムがすでに限定的な種類の新奇性に対処できることを意味します。機械学習システムは、元の学習データと同一ではないものの統計的に類似した入力データに対してよく機能する傾向があります。実際には、予期せぬ事態が起こりそうにない限り、この条件から外れても問題ありません。
このようなシステムは、オープンワールドにおいて問題に直面する可能性があります。その名が示すとおり、オープンワールドは完全かつ明示的に定義することはできません。予期せぬ事態は起こり得るし、実際に起こります。何より重要なのは、現実世界がオープンワールドであるということです。
しかし、「超人的」AIは、オープンワールドにおける極めて予期せぬ状況に対処するよう設計されていません。その理由の一つは、現代の強化学習そのものの使用にあるかもしれません。これにより、最終的にAIは学習させた特定の環境に最適化されてしまいます。現実の生活にはそのような保証はありません。現実世界のために構築されたAIは、オープンワールドにおける新奇性に適応できなければなりません。
最重要事項としての新奇性
モノポリーに話を戻すと、特定の物件に家賃保護が適用される状況を想像してみてください。優れたプレイヤーは、人間であれAIであれ、より高い家賃を得られる物件と比べて、これらの物件を悪い投資と認識し、購入しないでしょう。しかし、これまでにこの状況、またはそれに類する状況を一度も経験したことのないAIは、適応するまでに多くのゲームをプレイする必要があるでしょう。
コンピュータ科学者が、そのような「新奇性適応型」エージェントの構築方法について理論化を始める前に、まずそれらを評価するための厳密な方法が必要です。従来、ほとんどのAIシステムは、それを構築したのと同じ人々によってテストされてきました。コンペティションはより公平ですが、これまでのところ、システム設計者でさえ予見できなかったほど予期せぬ状況において、AIシステムを評価したコンペティションはありません。そのような評価は、薬剤を評価するためのランダム化比較試験と同様に、新奇性に関するAIのテストにおける最高水準の方法です。
2019年、米国国防高等研究計画局は、オープンワールドの新奇性に関する人工知能と学習の科学という略称SAIL-ONと呼ばれるプログラムを立ち上げました。現在、このプログラムは、私自身が所属する南カリフォルニア大学を含む多くのグループに資金を提供し、オープンワールドにおける新奇性への適応を研究しています。
このプログラムの革新的な点の一つは、チームが、新奇性に対応するAIエージェントを開発するか、そのようなエージェントを評価するためのオープンワールド環境を設計するか、そのどちらかのみを行えることです。両方を行うことはできません。オープンワールド環境を構築するチームは、その環境における新奇性についても理論化しなければなりません。彼らは自らの理論を検証し、新奇性ジェネレーターを開発することで、別のグループが構築したエージェントを評価します。これらのジェネレーターは、環境に予期せぬ要素を注入するために使用できます。
SAIL-ONの下で、私の同僚と私は最近、次のようなシミュレーターを開発しました。オープンワールドのマルチエージェント環境における新奇性の生成、通称GNOMEです。GNOMEは、現実世界の要素を取り入れた戦略ボードゲームにおいて、AIの新奇性への適応を検証するために設計されています。
GNOMEの最初のバージョンは、古典的なボードゲームであるモノポリーを使用しています。私たちは最近、モノポリーベースのGNOMEを実演し、トップクラスの機械学習カンファレンスで発表しました。参加者が新奇な要素を注入し、事前にプログラムされたAIエージェントがどのように機能するかを自ら確かめられるようにしました。例えば、GNOMEは先ほど述べた富裕税や家賃保護の「新奇な要素」を導入し、その変更後のAIを評価することができます。
ルール変更の前後でAIのパフォーマンスを比較することで、GNOMEは、新奇な要素によってAIのゲーム運びがどれほど狂わされたかを定量化できます。もしGNOMEが、新奇な要素の導入前にAIがゲームの80％に勝っていたが、現在は25％しか勝っていないと判断した場合、そのAIは改善の余地が大きいものとしてフラグを立てます。
今後：新奇性の科学とは？
GNOMEは、このDARPAプログラムの下で資金提供を受けている3つの独立した組織が構築した、新奇性に適応するAIエージェントの評価にすでに使用されています。私たちはまた、ポーカーや、バトルシップに類似した「ウォーゲーム」に基づくGNOMEも構築しました。来年は、リスクやカタンのような他の戦略ボードゲームのGNOMEについても研究を進める予定です。この研究は、さまざまな環境において新奇性に対応できるAIエージェントの開発につながると期待されています。
現代のAI研究と評価において新奇性を中心的な焦点とすることは、その副産物として、新奇性の科学を支える初期の研究成果を生み出してきました。私たちのような研究者は、新奇性の定義や理論を探究しているだけでなく、根本的な影響を持ちうる問題も検討しています。例えば、私たちのチームは、新奇性がAIにとって極めて困難になると予想される場合について研究しています。現実世界で、そのような状況が生じた場合、AIはそれを認識し、人間のオペレーターに通報するでしょう。
これらの問題やその他の問いへの答えを探る中で、コンピュータ科学者は現在、COVID-19のようなブラックスワン事象を含む、予期せぬ事態に適切に反応できるAIの実現を目指しています。人間が既存のゲームでAIを打ち負かすだけでなく、人間が想像しうるあらゆるバージョンのゲームに素早く適応できるAIが登場する日は、そう遠くないかもしれません。さらには、今日の私たちには想像もできない状況にさえ適応できるようになるかもしれません。
