仮想チェスやソリティアの黎明期以来、ビデオゲームは人工知能（AI）開発の舞台となってきた。機械が人間に勝つたびに、アルゴリズムはより賢く効率的になってきた。しかし、運転や交渉を含む複雑な作業の自動化といった現実世界の課題に取り組むには、これらのアルゴリズムはボードゲームより複雑な環境を進み、チームワークを学ぶ必要がある。他のプレイヤーと協働し、やり取りしながら成功するようAIに教えることは、これまで克服できない課題とされてきた――しかし今、それが可能になった。
新たな研究では、研究者らは、人気の3Dマルチプレイヤーゲーム（Quake III Arenaを改変し、Capture the Flagモードで実施したもの）で人間並みの性能に到達するようAIアルゴリズムを訓練する方法を詳述した。
このゲームの課題はシンプルだ。2つの対立するチームが、マップを移動しながら互いの旗を奪い合う。しかし勝利するには、複雑な意思決定と、他のプレイヤーの行動を予測し対応する能力が求められる。
一人称視点のビデオゲームで、AIが人間並みの技能を獲得したのはこれが初めてだ。では研究者らはどのようにしてそれを実現したのか。
ロボットの学習曲線
2019年には、他のマルチプレイヤー戦略ゲームでもAI研究における画期的な成果が得られた。AIに操作されるプレイヤー「ボット」5体が、DOTA 2の試合でプロのeスポーツチームを破った。DOTA 2の試合でプロのeスポーツチームを破った。プロの人間プレイヤーも、AIに敗れた（StarCraft IIの試合）。いずれのケースでも、強化学習という手法が用いられた。これはアルゴリズムが試行錯誤を通じ、環境と相互作用しながら学習する手法である。
DOTA 2で人間に勝利した5体のボットは、人間のプレイから学んだのではない。彼らは専ら自分自身のクローンと対戦する試合を通じて訓練された。プロプレイヤーを打ち負かすまでに性能が向上したのは、既存アルゴリズムの規模拡大によるものだった。コンピュータの処理速度により、AIは人間が数分から数時間かけるゲームを数秒でプレイすることができた。これにより研究者らは、現実時間の10か月の間に、AIに45,000年分のゲームプレイを経験させることができた。
今回の研究におけるCapture the Flagのボットも、ゼロから学習を開始した。ただし、同一のクローンと対戦させる代わりに、30体のボットからなる集団を並行して作成し訓練した。各ボットには独自の内部報酬シグナルが与えられた。この集団内の各ボットは互いに協働し、互いから学習していく。研究に関わった研究者の一人であるDavid Silver氏は、AIが「人間の知識の制約を取り除き……知識そのものを生み出す」段階に入りつつあると指摘している。
人間の学習速度は、依然として最先端の深層強化学習アルゴリズムよりはるかに速い。OpenAIのボットとDeepMindのAlphaStar（StarCraft IIをプレイするボット）はいずれも、人間並みの性能に到達する前に、数千年分ものゲームプレイを吸収した。このような訓練には、数百万ドル規模の費用がかかると見積もられている。それでも、人間を自らのゲームで打ち負かせる自己学習型AIは、機械に対する見方を変えうる刺激的なブレークスルーである。
人間と機械の未来
AIは人間の能力を置き換えたり、補完したりする存在として描かれることが多いが、人間と同じ作業を行う、完全な一人前のチームメンバーとして描かれることは稀だ。これらのビデオゲームの実験は機械と人間の協働を伴うものであり、未来の一端を垣間見せてくれる。
Capture the Flagの人間プレイヤーは、ボットを他の人間よりも協調的だと評価した。一方、DOTA 2のプレイヤーのAIチームメイトに対する反応は賛否両論だった。非常に好意的な人もおり、サポートされていると感じた、あるいは一緒にプレイする中で学んだと語った。Sheever（プロのDOTA 2プレイヤー）は、ボットとチームを組んだ経験について次のように語った。
実際、良い感じだった。［AIのチームメイト］は、ある時点で私のために自分の命を捧げてくれた。彼は私を助けようとして、「彼女はきっと何をしているか分かっているはずだ」と考えていたのだろう。もちろん私は分かっていなかったのだけれど。でも、彼は私を信じてくれた。［人間の］チームメイトからは、そういう経験はあまりできない。
他の人々はあまり好意的ではなかった。しかし、コミュニケーションはあらゆる関係の柱であるため、人間と機械のコミュニケーションを改善することは今後極めて重要になる。研究者らはすでに、ボットをより「人に優しい」ものにするため、いくつかの機能を調整している。例えば、人間にプレッシャーを与えないよう、試合前のチーム編成時にキャラクターを選ぶ前に、ボットを意図的に待機させるようにしている。
しかし、AIは私たちから学ぶべきか、それとも自ら学習を続けるべきか。人間を模倣せずに自己学習させれば、AIにより高い効率性と創造性を教えられるかもしれない。一方で、倉庫ロボットのように人間との協働を伴わない作業により適したアルゴリズムが生まれる可能性もある。
一方で、人間から訓練された機械の方が直感的だと主張する向きもあるだろう。そのようなAIを使う人間は、機械がなぜそのような行動を取ったのかを理解できるかもしれない。AIが賢くなるにつれ、私たちはさらなる驚きを受け入れる覚悟が必要だ。
