わずか昨年、Google DeepMindのAlphaGoは人工知能（AI）の世界に衝撃を与え、コンピュータープログラムが世界最高の人間の囲碁棋士に勝てることを示しました。
しかし、現代AIの猛烈な進歩を示す形で、改良版「AlphaGo Zeroが達成した新たな節目の詳細が、今週、Nature誌に発表されました。
より少ない計算能力とわずか3日間の学習で、AlphaGo Zeroは初代AlphaGoと100局対局し、100対0で勝利しました。人間が対局に臨む意味さえありませんでした。
囲碁を学ぶ
囲碁は、2人のプレーヤーが交互に19×19の盤上へ「石」を置く戦略ゲームです。相手より広い盤上の領域を囲むことが目標です。
囲碁は覚えるのは簡単でも、極めるには一生かかる――人間にとっては。Paragorn Dangsombroon/Shutterstock
コンピューターにとって、囲碁を極めることはチェスよりはるかに難しいことが分かっています。囲碁では各局面で可能な手がチェスよりずっと多く、対局の展開もはるかに多様です。
初代AlphaGoはまず、熟練した人間の棋譜3,000万手を研究して学習しました。その後、何カ月もの計算時間をかけて何度も自己対局し、人間の専門家を超える実力を身につけました。
対照的に、AlphaGo Zeroは人間の対局を一度も見ませんでした。ゲームのルールだけを知った状態から始めたのです。比較的少ない500万局の自己対局を、初代AlphaGoより小型のコンピューターでわずか3日間行い、初代を超える性能を習得しました。
興味深いことに、その学習過程は、人間が囲碁を極めるまでにたどる段階のいくつかをおおむねなぞっていました。AlphaGo Zeroは、安易な短期目標をすばやく退け、より戦略的に考えるようになり、トップレベルの人間の棋士がよく使う手筋を数多く生み出しました。
しかし驚くべきことに、その後はこうした手筋の一部を退け、人間の対局では見られなかった新たな戦略を選び始めました。
人間の棋譜を超えて
AlphaGo Zeroがこの偉業を成し遂げたのは、初代AlphaGoとは異なる方法で問題に取り組んだからです。両バージョンとも、現在のAIを支える最も強力なアルゴリズムのうち2つ、深層学習と強化学習を組み合わせています。
囲碁のようなゲームをプレーするには、プログラムが学ぶべき基本事項が2つあります。1つ目は方策、つまりある局面で可能な各手を選ぶ確率です。2つ目は価値、つまり任意の局面から勝利する確率です。
AlphaGo Zeroの純粋な強化学習方式では、方策と価値の学習に利用できる情報は、最終的にどちらが勝つかを予測することだけでした。この予測には現在の方策と価値を使いますが、開始時点ではどちらもランダムでした。
これは、学習の出発点として熟練した人間の手を利用した初代AlphaGoより、明らかに難しい方法です。ただし初代は、方策と価値を別々のニューラルネットワークで学習しました。
AlphaGo Zeroのアルゴリズム上の突破口は、これらを1つのネットワークに統合できると見いだしたことでした。これにより、自己対局による訓練のプロセスが大幅に簡素化され、熟練した人間がどう打つかを先に学ぶのではなく、まっさらな状態から始めることが可能になりました。
イロレーティングは、囲碁やチェスなどのゲームでプレーヤーの実力を測るために広く使われている指標です。これまでで最強の人間棋士である柯潔の現在のイロレーティングは約3,700です。
AlphaGo Zeroは3日間の訓練でイロレーティング4,000超を達成し、同じアルゴリズムを拡張したバージョンは40日間訓練して、ほぼ5,200に達しました。
これは人間の最強棋士から驚くほど大きく引き離すもので、現時点でのチェスの最強人間プレーヤーであるマグヌス・カールセン（約2,800）とチェスプログラム（約3,400）の差をはるかに上回ります。
次なる課題
AlphaGo Zeroは、どのような人間の誘導にも左右されない純粋な強化学習が実現可能であることを示した点で、AIにとって重要な前進です。これにより、学習を始めるために大量の専門家の知識を必要としなくなります。そうした知識は、分野によっては得るのが難しい場合があります。
また、このアルゴリズムは、人間の枠内で考えるよう最初から制約されていたら見つけるのがずっと難しかったかもしれない、まったく新しい手法を自由に生み出せるということでもあります。驚くべきことに、この戦略は計算効率も高いことが分かりました。
しかし囲碁は、現実世界の問題の多くが持つ複雑さとは無縁の、厳密な制約があり完全情報のゲームです。AlphaGo Zeroの訓練には、囲碁のルールに従って何百万もの対局を正確にシミュレーションする必要がありました。
多くの実用的な問題では、そのようなシミュレーションは計算上実行不可能であるか、そもそもルールが明確ではありません。
特定の分野における人間の介入なしに幅広い実用的問題に取り組める汎用AIを実現するには、まだ解決すべき課題が数多く残っています。
人間は囲碁アルゴリズムとの戦いに完全に敗れましたが、幸いなことに、AIは囲碁と違ってゼロサムゲームではありません。AlphaGo Zeroの対局の多くは、すでに公開されており、人間の囲碁棋士にとって生涯にわたる刺激的な研究材料となっています。
さらに重要なのは、AlphaGo Zeroが、人間には想像もつかないほど創造的な解決策を難題から見つけ出すために、人間が強力なAIを活用できる世界への一歩を示していることです。AIの世界で、今ほど思い切って挑戦するのにふさわしい時はありません。
