演繹的推論を用いて、ボットは味方と敵を識別し、特定のオンラインゲームにおいて人間に対する勝利を確実にします。
MITの研究者らは、プレイヤーの役割や意図が秘匿される、難易度の高いオンライン多人数参加型ゲームにおいて人間のプレイヤーに勝つことができる、人工知能を搭載したボットを開発しました。
人間のプレイヤーに追いつくために、多くのゲーム用ボットが開発されてきました。今年初め、カーネギーメロン大学のチームは、多人数参加型ポーカーでプロに勝てる世界初のボットを開発しました。DeepMindのAlphaGoは、2016年にプロの囲碁棋士に勝利して話題になりました。また、プロのチェス棋士に勝つことや、オンラインの陣取りゲームのような協力型ゲームで協力することを目的としたボットも数多く開発されています。しかし、これらのゲームでは、ボットは最初から対戦相手や味方を把握しています。
来月開催される神経情報処理システムに関する国際会議で、研究者らはDeepRoleを発表します。DeepRoleは、参加者のチーム所属が当初不明確なオンライン多人数参加型ゲームで勝利できる、世界初のゲーム用ボットです。このボットは、ポーカーに一般的に用いられるAIアルゴリズムに、新たな「演繹的推論」を組み込んで設計されています。これにより、部分的にしか観測できない行動について推論し、特定のプレイヤーが味方か敵かを確率的に判断できるようになります。その過程で、誰と連携すべきか、そしてチームの勝利を確実にするためにどの行動を取るべきかを素早く学習します。
研究者らは、オンラインゲーム「The Resistance: Avalon」の4,000回以上のラウンドで、DeepRoleを人間のプレイヤーと対戦させました。このゲームでは、プレイヤーはゲームの進行に伴い仲間の秘密の役割を推測しようとしながら、同時に自身の役割を隠します。味方としても敵としても、DeepRoleは一貫して人間のプレイヤーを上回りました。
「人間の味方をボットに置き換えれば、チームの勝率が高まることが期待できます。ボットはより良いパートナーなのです」と、MITで電気工学・コンピュータサイエンスを専攻し、熱心なオンライン「Avalon」プレイヤーでもある筆頭著者のJack Serrino（’18）は述べています。
この研究は、人間がどのように社会的な情報に基づいて意思決定を行うかをより良くモデル化するための、より広範なプロジェクトの一部です。これにより、人間をより良く理解し、人間から学び、人間と協働できるロボットの開発に役立つ可能性があります。
「人間は他者から学び、他者と協力します。そのおかげで、一人では決して達成できないことを共に成し遂げることができます」と、共著者のMax Kleiman-Weiner（MIT脳・心・機械センターおよびMIT脳・認知科学科、ハーバード大学所属のポスドク研究員）は述べています。「『Avalon』のようなゲームは、人々が日常生活で経験する動的な社会的状況をより良く再現します。幼稚園の初日であろうと、職場の別の日であろうと、誰が自分のチームにいて、一緒に働いてくれるのかを見極める必要があります」
Serrino氏およびKleiman-Weiner氏とともに論文に参加しているのは、ハーバード大学のDavid C. Parkes氏、そしてMITのコンピュータサイエンス・人工知能研究所およびMIT脳・心・機械センターのメンバーであり、計算認知科学の教授であるJoshua B. Tenenbaum氏です。
演繹的ボット
「Avalon」では、3人のプレイヤーが無作為かつ秘密裏に「レジスタンス」チームに割り当てられ、2人のプレイヤーが「スパイ」チームに割り当てられます。スパイのプレイヤー2人は、全プレイヤーの役割を把握しています。各ラウンドでは、1人のプレイヤーが任務を遂行するために2人または3人のプレイヤーからなる部分集合を提案します。全プレイヤーは同時かつ公開で、その部分集合を承認するか否認するかを投票します。過半数が承認した場合、その部分集合が秘密裏に任務の成否を決定します。「成功」が2つ選ばれれば任務は成功、「失敗」が1つでも選ばれれば任務は失敗となります。レジスタンスのプレイヤーは必ず成功を選ばなければなりませんが、スパイのプレイヤーは両方の結果を選ぶことができます。レジスタンスチームは3回の任務成功で勝利し、スパイチームは3回の任務失敗で勝利します。
このゲームに勝つには、基本的に誰がレジスタンスでスパイなのかを推測し、協力者に投票することが求められます。しかし、これはチェスやポーカーよりも計算上の複雑さが実際に高くなります。「これは不完全情報のゲームです」とKleiman-Weiner氏は述べています。「ゲーム開始時には、誰が敵なのかさえ確信が持てません。そのため、誰と協力すべきかを見つけるための追加の探索段階が存在するのです」
DeepRoleは、「反事実的後悔最小化」（CFR）と呼ばれるゲーム計画アルゴリズムを使用しています。これは自己対戦を繰り返すことでゲームを学習する手法で、演繹的推論によって強化されています。ゲームのあらゆる時点で、CFRは先を見越して、各プレイヤーの将来の行動の可能性を表す行と節からなる意思決定の「ゲーム木」を作成します。ゲーム木は、将来の各意思決定時点で各プレイヤーが取りうるすべての行動（行）を表します。CFRは、潜在的に数十億回に及ぶゲームシミュレーションを進める中で、どの行動によって自身の勝率が上がったか下がったかを記録し、より良い意思決定を含むよう戦略を反復的に修正します。最終的には、いかなる相手に対しても、最悪でも引き分けとなる最適な戦略を立案します。
CFRは、ベットや手札の降りといった公開された行動を伴うポーカーのようなゲームではうまく機能しますが、行動が秘匿されている場合には苦戦します。研究者らのCFRは、公開された行動と非公開の行動がもたらす結果を組み合わせ、プレイヤーがレジスタンスかスパイかを判断します。
このボットは、レジスタンスとスパイの両方の立場で自己対戦することで学習します。オンラインゲームをプレイする際には、ゲーム木を用いて各プレイヤーが次に何をするかを推定します。ゲーム木は、割り当てられた役割において各プレイヤーが勝利の可能性を最も高める戦略を表します。木のノードには「反事実的価値」が含まれており、これは基本的に、そのプレイヤーが特定の戦略を取った場合に得られる利得の推定値です。
各任務の時点で、ボットはゲーム木と比較して各プレイヤーがどのようにプレイしたかを確認します。ゲーム全体を通して、プレイヤーがボットの予測と矛盾する意思決定を十分な回数行った場合、そのプレイヤーはおそらく反対の役割を演じている可能性が高いと判断されます。最終的に、ボットは各プレイヤーの役割に高い確率を割り当てます。これらの確率は、勝利の可能性を高めるためにボットの戦略を更新するために使用されます。
同時に、ボットは同じ手法を用いて、第三者の観察者が自身の行動をどのように解釈するかを推定します。これにより、他のプレイヤーがどのように反応するかを推定でき、より賢明な意思決定に役立ちます。「2人構成の任務で失敗した場合、他のプレイヤーは一人がスパイであることを知っています。ボットは、他のプレイヤーがそれを不利だと考えていることを知っているため、今後の任務で同じチームを提案することはおそらくないでしょう」とSerrino氏は述べています。
言語：次のフロンティア
興味深いことに、このボットは、通常ゲームの重要な要素である他のプレイヤーとのコミュニケーションを必要としませんでした。「Avalon」では、ゲーム中にテキストモジュールでチャットすることができます。「しかし、私たちのボットは、プレイヤーの行動を観察するだけで、他の人間のチームとうまく連携できることがわかりました」とKleiman-Weiner氏は述べています。「これは興味深いことです。このようなゲームには複雑なコミュニケーション戦略が必要だと考えられるかもしれないからです」
「この論文が発表された時、私は非常に感激しました」と、コンピュータにゲームをプレイさせる訓練を研究の一部とするアルバータ大学の教授Michael Bowling氏は述べています。「DeepStackのアイデアが、ポーカー以外のより広い応用へと広がっていくのを見るのは、本当にエキサイティングです。［DeepStackは］チェスや囲碁において、不完全情報の状況に対するAIの中心的存在となってきました。しかし、『Avalon』のような隠れ役割ゲームの状況にこれほど速く拡張されるとは、正直なところ予想していませんでした。非常に人間的に感じられる社会的推理の場面を進められることは、本当に重要な一歩です。特に社会的相互作用がより自由な形の場合には、まだ多くの研究課題が残されています。しかし、自己対戦学習を伴う基本的なAIアルゴリズムの多くが、大きな成果をもたらすことを私たちは見続けています」
次に、研究者らは、ボットがゲーム中に単純なテキストでコミュニケーションできるようにすることを検討するかもしれません。例えば、あるプレイヤーが良いか悪いかを伝えるといったことです。これには、ボットが既に意思決定に用いている、そのプレイヤーがレジスタンスかスパイかという相関確率にテキストを割り当てることが必要になります。さらにその先では、将来のボットにより複雑なコミュニケーション能力を持たせ、言語を多用する社会的推理ゲーム（人気ゲーム「人狼」など）をプレイできるようにするかもしれません。こうしたゲームでは、誰が善のチームで誰が悪のチームかについて、数分間にわたり他のプレイヤーと議論し、説得することが求められます。
「言語は間違いなく次のフロンティアです」とSerrino氏は述べています。「しかし、コミュニケーションが非常に重要なこれらのゲームには、取り組むべき課題が数多くあります」
