AIはどのようにして核戦争のリスクを高めうるか

この記事は世界経済フォーラムの地政学プラットフォーム

人工知能は、1945年以来世界を核戦争から救ってきた核抑止の概念を覆しうるのだろうか。目覚ましいAIの進歩は、ドローン、衛星、その他のセンサーの普及と相まって、各国が互いの核戦力を発見し、威嚇し合い、緊張を高める可能性を生み出している。

スタニスラフ・ペトロフ中佐は、モスクワ郊外の秘密の地下壕にある司令官の席に着いた。その夜の任務は単純だった。衛星データを選別しているコンピューターを監視し、米国によるミサイル発射の兆候がないかを確認することだ。時刻は1983年9月26日の深夜を過ぎたばかりだった。

地下壕の壁に警報のサイレンが鳴り響いた。彼の目の前のスクリーンに一語が点滅した。

「発射」

コンピューターが誤りや悪意によって、人類を核による絶滅の瀬戸際へ導くのではないかという恐れは、冷戦の初期から人々の想像を悩ませてきた。

その危険は、まもなくフィクションというよりも科学の問題になるかもしれない。目覚ましいAIの進歩により、学習し思考できる機械が生まれ、世界の主要な核保有国の間で新たな軍拡競争が引き起こされている。私たちが懸念すべきはハリウッドの大作に登場する殺人ロボットではなく、コンピューターが核抑止の基本ルールに異議を唱え、人間を壊滅的な決断へと導きうるということだ。

これは、RAND社による新たな論文の前提となるものである。人工知能は核戦争のリスクにどのような影響を与えうるか？この論文は、RANDの特別プロジェクトの一部であり、Security 2040として知られ、地平線の向こうを見通し、迫りくる脅威を予測することを目的としている。

「これは映画のシナリオにすぎないわけではありません」と、アンドリュー・ローンは語った。ローンはRANDのエンジニアで、この論文の共著者である。彼のAIの経験には、ドローンの経路設計、クジラの鳴き声の識別、NBAの試合結果の予測などが含まれる。「比較的単純なことでも、注意を怠ると緊張を高め、危険な場所へ私たちを導きかねません。」

誤作動か、それとも終末か？

ペトロフは後に、自分の席がフライパンのように感じられたと語っている。彼は、そのコンピューターシステムに誤作動があることを知っていた。ソ連は、米国との軍拡競争で遅れを取ることを懸念し、その数か月前に急いでそのシステムを運用に投入していた。スクリーンには今や「高い信頼性」と表示されていたが、ペトロフの直感はそうではないと告げていた。

彼は当直将校に電話をかけた。「誤報です」と彼は言った。すると突然、システムに新たな警告が表示された。another launch、そしてさらにもう一つ、さらにもう一つ。スクリーン上の文字は赤く光っていた。

「ミサイル攻撃」

知的なコンピューターがどのようにして核戦争のリスクを高めうるかを理解するには、冷戦がなぜ核の熱戦に発展しなかったのかを少し理解する必要がある。理論は数多くあるが、「確証報復」は常に基礎の一つであった。最も単純に言えば、それは「お前が私を殴れば、私はお前を殴り返す」ということだ。核兵器が関わる場合、その反撃は都市全体を壊滅させかねず、どちらの側もそのような損失を進んで受け入れることはなかった。

その理論は、一見すると直感に反するいくつかの結論へと導く。双方が先制攻撃を生き延び、反撃できる兵器を保有していれば、状況は安定する。どちらの側も、最初の一撃を加えるリスクを冒そうとはしない。一方が反撃能力を失う、あるいは失うかもしれないと考えるだけでも、状況はより危険で不確実なものになる。その側は、優位を取り戻すために新たな兵器を開発して対応するかもしれない。あるいは、先に攻撃されないうちに早めに打撃を加える必要があると判断するかもしれない。

AIの真の危険がどこにあるかは、ここにあるのかもしれない。コンピューターはすでに、人間の目では決して見ることのできないパターンを探して、何千枚もの監視写真をスキャンできる。より高度なシステムが、ドローンの映像、衛星データ、さらにはソーシャルメディアの投稿までを取り込み、敵の兵器と防衛網の全体像を構築する様子を想像するのは難しくない。

あらゆる場所に存在し、あらゆるものを見ることができるシステムは、敵に、自国が先制攻撃で無力化される脆弱な状態にあると確信させるかもしれない。つまり、自国が反撃能力を失うかもしれないと思わせるのである。その敵は、手段を選ばず、再び均衡を取り戻すための新たな方法を探すだろう。その道は核戦争へとより近づいていく。

「自律システムは、安定性を損ない、壊滅的な戦争の可能性を高めるために人を殺す必要はありません」と、エドワード・ガイストは語った。ガイストはRANDの政策研究員補であり、核安全保障の専門家で、この新しい論文の共著者である。「新たなAIの能力は、ためらえば負けると人々に思わせるかもしれません。それによって、彼らの引き金を引く指はよりせっかちになりかねません。その時点で、人間がまだいわゆる「カッコつきの」制御下にあるとしても、AIが戦争の可能性を高めることになるのです。」

直感

ペトロフのコンピューター画面には、今やソ連に向かって飛来する5発のミサイルが表示されていた。サイレンが鳴り響いた。ペトロフは片手で当直将校への電話を持ち、もう片方の手で計算室へのインターホンを持っていた。そこの技術者たちは、レーダー画面や望遠鏡ではミサイルを確認できないと彼に伝えていた。

それは筋が通らなかった。なぜ米国はわずか5発のミサイルで核戦争を始めるのだろうか。ペトロフは受話器を取り、再びこう告げた。

誤報です。

コンピューターは今や、転びながらも学習し、正しくできるようになるまで、自ら歩行を習得できる。その神経回路網は脳の構造を模倣している。最近、あるコンピューターが、古代の戦略ゲームである囲碁の世界トッププレイヤーの一人を打ち負かした。その一手は非常に異質でありながら、非常に効果的であったため、人間のプレイヤーは席を立って部屋を出て行き、次の一手を打つまでに15分を要した。

このような超知能の軍事的潜在力は、世界の主要な核保有国によって見過ごされてはいない。米国は、敵の潜水艦を数千マイルにわたって追跡できる自律型ボートを試験してきた。中国は、ドローンが群れをなして狩りを行えるようにする「群知能」アルゴリズムを実証している。そして、ロシアは最近、自ら海洋を越えて誘導され、主要都市を蒸発させるに足る強力な核弾頭を運搬できる水中の終末兵器ドローンの計画を発表した。

ロシアのウラジーミル・プーチン大統領は、AIの優位性を巡る競争で勝者となる者は「世界の支配者となるだろう」と述べている。テスラの創業者イーロン・マスクは、異なる見解を示している。彼は、AIの優位性を巡る競争こそが第三次世界大戦の最も可能性の高い原因であると警告した。

真実の瞬間

数分間の恐ろしい時間、スタニスラフ・ペトロフは核戦争の瀬戸際に立っていた。1983年半ばまでに、ソ連は米国が核攻撃の準備をしていると確信していた。彼の目の前で赤く点滅するコンピューターシステムは、いわば保険であり、もし米国が攻撃してきた場合にソ連が反撃する時間を確保するための取り組みであった。

スタニスラフ・ペトロフ、2016年

しかし、その夜、システムは雲の頂に反射した太陽光を誤認していた。

「誤報です。」当直将校は説明を求めなかった。彼はペトロフのメッセージを指揮系統の上位に伝達した。

研究者たちは、次世代のAIは核安全保障の基盤を損なう「大きな潜在力」を持つだろうと結論づけた。国際対話のための時間は今である。

このような技術的進歩の時代に核による平和を維持するには、すべての核保有国の協力が必要となるだろう。それには、新たな世界的な制度と協定、対立する国家間の新たな相互理解、そして新たな技術的、外交的、軍事的な安全装置が必要となるだろう。

将来のAIシステムが、非常に信頼性が高く、冷徹なまでに合理的であることが証明され、核終末時計の針を巻き戻すことも考えられる。結局のところ、過ちを犯すのは人間である。過ちを犯さず、プレッシャーを感じず、個人的な偏りを持たない機械は、原子力時代がこれまで経験したことのないレベルの安定性をもたらすかもしれない。

研究者たちは、その瞬間はまだ遠い未来のことであるが、現在からその時までの数年間は特に危険になるだろうと結論づけた。核武装国の増加と、特に技術的に成熟する前のAIへの依存の高まりは、壊滅的な誤算を招きかねない。そしてその時点では、夜勤に就いている中佐がその戦争の機構を止めるには、手遅れになっているかもしれない。

スタニスラフ・ペトロフが核災害の瀬戸際で経験した出来事は、大きく、そして潜在的に不安定化をもたらす技術変革を進めることに伴う責任について、新たな世代に警鐘を鳴らしている。2017年に亡くなったペトロフは、簡潔に次のように述べた。「私たちはコンピューターよりも賢い。私たちがコンピューターを創ったのだ。」

RANDの研究者たちは、AIと核戦略の分野における最高の専門家を集め、一連のワークショップを開催した。彼らは専門家たちに、2040年の核兵器システムの状況を想像し、その時点でAIが安定化をもたらす力となるのか、あるいは不安定化をもたらす力となるのかを検討するよう求めた。

視点1 - 技術に対する懐疑論

多くのAI専門家は、その時点までにこの技術が核に関する意思決定で重要な役割を果たせるほど発展しているかどうかについて懐疑的であった。AIは、ハッキングに対する脆弱性や、例えば異常な振る舞いによって誤った前例を作るといった、訓練データを汚染しようとする敵対的な試みを克服しなければならないだろう。

視点2 – 核をめぐる緊張は高まる

しかし、核戦略家たちは、AIシステムが核をめぐる緊張を高めるために完璧に機能する必要はないと反論した。敵がそれが機能していると考え、それに応じて行動するだけで十分なのである。その結果、核武装した対立国同士の間で、競争と不信の新たな時代が到来するだろう。

視点3 – AIは、勝つ一手は打たないことだと学習する

一部の専門家は、遠い将来のいつか、AIが非常に信頼できるものとなり、核戦争の脅威を回避できるようになるかもしれないという希望を抱いていた。例えば、核開発を追跡し、各国が核不拡散協定を遵守していることを確認するために用いられるかもしれない。あるいは、核対峙の圧力下で下された誤りや不適切な判断から人間を救うこともできるかもしれない。ある専門家が述べたように、将来のAIは、1983年の映画『ウォー・ゲーム』に登場するコンピューターのように、核戦争における唯一の勝つ一手は打たないことだと結論づけるかもしれない。

人工知能はどのようにして核戦争のリスクを高めうるか、ダグ・アービング、RAND社