先月、ロボット工学および人工知能（AI）企業のCEO 100人以上が、公開書簡に署名し、自律型兵器の危険性について国連に警告した。
過去3年間、各国は国連のジュネーブ本部に集まり、特定通常兵器使用禁止制限条約の枠組みの下で、将来の兵器における自動化と人間の意思決定の役割について議論してきた。各国にとって中心的な問いは、戦争で人を殺す決定を機械に委ねるべきかどうかだ。
他の多くの分野と同様、兵器でも自動化と自律性がますます高まっている。30カ国以上が武装ドローンを保有するか、開発を進めているが、その大半は遠隔操作されている。一部のドローンは自律的に離着陸したり、あらかじめ設定された経路を飛行したりできるが、兵器の使用はすべて人間が制御している。AIの進歩と物体認識技術の発展により、将来、兵器が独力で標的を捜索・識別し、攻撃を決定する可能性が懸念されている。
自ら標的を追跡する自律型兵器は、数十年にわたって進んできた、兵器システムの一層の自動化の次の段階となるだろう。第二次世界大戦以降、各国は魚雷やミサイルなど、発射後に呼び戻せない「撃ち放し」型の誘導兵器を使用してきた。誘導兵器は機上の探知装置で敵の標的を感知し、照準の誤差を修正するように進路を変え、移動する標的に照準を合わせられる。
しかし自律型兵器とは異なり、これらの兵器は自ら攻撃対象を決定するわけではない。標的を破壊すると決めるのは人間であり、誘導兵器はその行為を実行するにすぎない。発射するかどうかの判断を人間が下すのを、自動化によって支援する兵器もある。現在、レーダーは物体の分類を自動化によって支援しているが、発射の判断は今も大抵の場合、人間が下している。
敵の脅威に対処するために必要な速度を得るには、人間を「判断の輪」の外に置き、機械に発射のタイミングを独自に決定させる必要が生じる場合もある。たとえば、人間が対戦車ロケット弾やミサイルから地上車両を守るには反応が間に合わないため、各国はこうした脅威を自動的に感知し、無力化するアクティブ防護システムを導入してきた。現在、30カ国以上が人間の監督下で自律型兵器を使用し、艦船、車両、陸上基地を攻撃から守っている。つまり、人間は異常が起きた場合に介入できるよう監督するが、兵器を作動させると、兵器は自ら標的を捜索し、攻撃を決定して実行できる。
ロボット工学と自律性の進歩は、将来、独力で標的を追跡し攻撃できる攻撃用兵器の登場を予感させる。複数の主要軍事大国が、敵の空域に侵入するためのステルス戦闘ドローンを開発している。そうしたドローンは、人間の管制官との通信が限られるか、あるいはまったくない状態で、敵陣の奥深くを自律的に行動する能力が必要になる。各国は、現在の巡航ミサイルと同様に、人間が事前に攻撃を許可した固定標的だけを攻撃するよう、ドローンの用途を制限するかもしれない。一方で、新たな標的を自ら捜索し破壊することを認める可能性もある。
人間の監督なしに、兵器が攻撃対象を捜索し、選定し、攻撃する権限を委ねた場合、どのような結果を招くのか。分からない。問題なく機能する可能性もある。誤作動して標的を間違える可能性もある。人間が作動を監督しなければ、弾薬が尽きるまで誤った標的への攻撃を続けることさえあり得る。最悪の場合、自律型兵器の艦隊全体が敵対勢力に操作され、欺かれ、あるいはハッキングされて誤った標的を攻撃し、友軍まで攻撃する可能性がある。
自律型兵器がもたらし得る結果について、警鐘を鳴らす声が高まっている。自律型兵器の開発を意図していると表明した国はない一方、放棄した国もほとんどない。主要軍事大国の大半は、今日のところ開発計画はないと述べながらも、開発の可能性を残している。
これを受けて、60を超える非政府組織が、開発前に自律型兵器を禁止する国際条約を求めている。2年前には、ロボット工学とAIの研究者3,000人以上が、同様に禁止を求める公開書簡に署名したが、その立場には少し nuance があった。全面禁止ではなく、「有意な人間の制御を超える攻撃用自律型兵器」だけを禁止することを提案した（これらの用語は定義されていなかった）。興味深いことに、直近の書簡の著者たちは禁止を求めてはいなかったが、「こうしたあらゆる危険から私たちを守る」ための何らかの措置は要求した。
自律型兵器をめぐる議論の大きな課題の一つは、用語の定義だ。自律型兵器の概念は十分に単純に思える。誰を殺すかを人間が決めるのか、それとも機械が自ら決めるのか。実際には、過去70年間、世代を重ねるごとに兵器の自動化が徐々に進んできた。自動車でも、緊急ブレーキ、車線維持、駐車といった作業が段階的に自動化されている。遠くからは明確な境界線に見えても、近くで見ると曖昧なことがある。
この徐々に進む自律化は、私たちをどこへ導くのだろうか。人間が戦場からますます遠ざかり、殺害が以前にも増して非人格的で機械的になる場所へ向かうのか。それは良いことなのか、悪いことなのか。一方、将来の機械は人間よりも優れた標的選定の判断を下し、民間人の命を救い、巻き添え被害を減らす可能性もある。自動運転車が交通事故による死亡を減らせる可能性があるなら、自ら標的を選ぶ兵器も、戦争での不必要な殺害を減らせるかもしれない。
自律型兵器をめぐる議論の多くは、その想定上の精度と信頼性を中心に展開している。禁止を支持する人々は、こうした兵器は誤って民間人を標的にしやすいと主張する。禁止に反対する人々は、それは今日なら当てはまるかもしれないが、技術は進歩し、いつか人間を上回る可能性があると述べる。
これらは重要な問いだが、答えが分かるだけでは不十分だ。技術の進歩は、戦争と人類の関係における根本的な岐路へ私たちを導いている。戦場に配備され、自ら標的を捜索し、攻撃を決定し、実行できる兵器は、ますます現実味を帯びている。機械にこうした任務を遂行できるかを問うだけでなく、遂行すべきかも問うべきだ。想像し得るあらゆる技術が使えるとしたら、戦争における致死的な意思決定で、人間にどのような役割を担ってほしいのか。
この問いに答えるには、人間が「判断の輪」の中にいるかどうかといった、広すぎる概念を超えて考える必要がある。運転が人間の制御と自動化の組み合わせになりつつあるように、兵器の使用をめぐる今日の判断にも、すでに自動化と人間の意思決定が組み込まれている。赤十字国際委員会（IRC）は、兵器システムの使用に関わる「重要な機能」を検討することを提案している。このアプローチは、人間による制御がどこで必要なのか、どの作業で自動化が有用なのかを理解する助けとなり得る。
攻撃に関わる作業の中には、機械が間違いなく役立つものもある。戦争における判断の中には、事実に基づく正解があるものもある。「この人が持っているのはライフルか、それとも熊手か」。この問いに答えられる機械は想像できる。物体認識の一部のベンチマークテストでは、機械はすでに人間を上回っているが、欺瞞攻撃に対する重大な脆弱性もある。
戦争における判断の中には、現在の機械には実装が難しい能力である、判断力を要するものもある。戦争法は、標的への攻撃による巻き添え被害が軍事的利益に比べて過大であってはならないと定めている。しかし、民間人の死者数がどこまでなら「均衡が取れている」のかを決めるのは、判断の問題だ。
将来、機械がこうした判断を下せるようになる可能性はある。特定の状況を予測できれば、ある種の状況では実現するかもしれない。しかし、現在のAIの水準では、機械が自らの行動を取り巻く広い文脈まで考慮するのは非常に難しい。将来の機械がこうした判断を下せるとしても、問うべきことがある。機械にできないからではなく、機械がすべきでないから、人間に判断してほしい戦争上の決定があるだろうか。あるとすれば、それはなぜか。
簡単に答えられる問いではない。技術の進歩は、戦争と人類の関係を考え直すよう迫っている。最近の公開書簡は、国連での議論の進みが遅いと批判した。それは事実だ。AIや機械学習が急速に進歩するのに比べ、国際外交の歩みは遅い。しかし、進展はある。過去3年間、国連での議論はこうしたテーマの検討を始めている。
「有意な人間の制御」という原則の採用を提案する人々もいる。この用語は国際的にいくぶん議論を呼んでいる（禁止を支持する人々がこれを禁止と同一視し続けていることも、その一因に違いない）が、人間の役割に焦点を当てる考え方は広まりつつある。一部の国は、「適切な人間の判断」や「適切な人間の関与」といった別の概念を提案している。具体的な表現が何であれ、戦争における「______ human ______」という原則を明確にする考え方は、支持を広げているようだ。これは新しいパラダイムであり、兵器ではなく人間に焦点を当てる。
兵器システムにおける自律性の役割を考える際、人間を中心に据えるアプローチには大きな価値がある。技術は絶えず進化するが、人間は変わらない。今日の自動化に何ができるか、できないかだけに焦点を当てると、その考え方はすぐに時代遅れになるおそれがある。自律型兵器を人間中心の視点から考えることは、今後何年にもわたって通用する原則や概念につながる可能性がある。
