フロンティアリスクとは、技術、生態系、領土のいずれであれ、人類が新たな領域を探求する過程で生じうる、発生確率は低いが影響の大きい脅威である。
致死性自律兵器システムは、行動するのに人間の制御を必要とせず、重大なフロンティアリスクをもたらす。
軍事利用される人工知能に関する世界的な規制は不十分であるが、前進の道筋は存在する
近年の人工知能（AI）技術の大きな進歩により、軍事兵器はますます高度化している。最も注目すべき新しい装備の一つが、致死性自律兵器システム（L.A.W.S.）である。これは、人間の制御なしに標的を識別し、攻撃し、破壊するよう設計された機械である。
これらの機械、およびその配備がもたらすリスクは、1927年のドイツ映画『メトロポリス』（1927年）、およびレイ・ブラッドベリの1953年のディストピア小説『華氏451度』などのSF文学や映画の題材となってきた。しかし、L.A.W.S.はもはや単なる想像ではない。AIシステムは現在、自律的にデータを利用し、人間の行動を予測し、情報を収集し、監視を行い、潜在的な標的を特定し、そして仮想戦闘において戦術的な判断を下すことができる。軍事におけるロボットの利用は一般化しつつあり、戦争のために最適化された完全自律型ロボットへの飛躍は、すでに現実的なものとなっている。今や大きな問いは、どのような種類のL.A.W.S.が存在しうるかではなく、もし それらが人類に対するフロンティアリスクをもたらすかどうかである。*
フロンティアリスクとは何か？
フロンティアリスクとは、技術、生態系、領土のいずれであれ、人類が新たな領域を探求する過程で生じうる、発生確率は低いが影響の大きい脅威である。その結果は容易に予測できないが（特に専門的な知見を持たない一般の人々にとっては）、私たちの知る世界を変えてしまう力を持っている。こうしたフロンティアリスクは、三つの比喩によって最もよく説明される。すなわち、「ドラゴンキング」（ある程度予測可能な、まれで影響の大きい事象）、「グレイ・ライノ」（発生確率が非常に高く、長期にわたる警告の後にのみ起こる影響の大きい事象）、そして「ブラック・スワン」（ほぼ予測不可能な、影響の大きい事象）である。自律型兵器の完全な軍事化から生じうるフロンティアリスクには、軍事作戦による壊滅的な影響や、機械に意識が宿る時代における人類の存亡の危機が含まれる。
なぜ軍事システムは自律化しつつあるのか？
ドローンはすでに今日の軍事で使用されているが、脆弱性を抱えている。その多くは、敵対勢力によって侵入されうる一連の通信経路を通じた人間の指令に依存している。さらに、戦場に投入される複数のドローンを運用するには、相当な人員が必要となる。人間による制御の必要性を排除することで、数千のL.A.W.S.を一度に投入することが可能になり、それらはすべて自ら戦術的かつ適時の判断を下すことができる。これにより、戦闘員の行動範囲の拡大と速度が強化され、標的への近接の必要性が低減する。L.A.W.S.はまた、人間の心身の限界を超えるものである（例えば、心的外傷後ストレス障害を負うことや、自己保存のために誤った判断を下すことがない）。
しかしながら、未解決の問題や予期せぬ結果の可能性も存在する。世界の大国がこの分野で主導的地位を得ようとする競争は、米陸軍の四つ星将軍デイヴィッド・ペトレイアスが「技術冷戦の初期段階」と呼んだ状況を生み出している。同様に、起業家イーロン・マスクは2017年に、軍事応用をめぐる人工知能の争奪戦が激化し、「第三次世界大戦」を引き起こしかねないと警告した。数十年にわたる大衆文化におけるロボットによる終末論的想像の人気により、L.A.W.S.への恐怖はすでに大衆の想像力に深く根付いている。しかし、政治的主権のために、一部の国家はL.A.W.S.がもたらしうるリスクへの懸念に動かされていないように見える。また、軍事化されたAIの利用に関する世界的な規制も不十分である。「国際連合」と「欧州議会」は、戦争における致死性自律型ロボットの使用を禁止する提案を打ち出してきたが、兵器をどのように規制しうるのか、また規制が国家の主権と対立するかどうかについては、依然として未解決の問いが残っている。
機械は我々を救うのか、それとも殺すのか？
機械も過ちを犯すが、人間の兵士よりは頻度が低い。しかし、人間は自らの行動に対して責任を問われる一方、機械は法的責任を負うことができない。戦争に関する国際人道法（IHL）の複雑さを踏まえると、能動的な戦闘員、負傷した兵士、降伏する者を区別することが困難な機械を放ってしまい、1949年のジュネーブ諸条約に違反するリスクがあるかもしれない。完全自律型兵器という発想は、すでにIHLに反しているとの主張もありうる。例えば、マルテンス条項は、人間の尊厳と、兵士が同胞の人間に思いやりを示す能力を優先する。しかし、コードの列によって動くロボットは、まだそのような判断を下す能力を持っておらず、規則に違反してしまう可能性がある。IHL違反に関するもう一つの懸念は、L.A.W.S.が自らの判断で行動する可能性によって浮き彫りになる。かつては最も想像力豊かなディストピア小説の題材とみなされていた発想が、近年ますます注目を集めており、マスクと理論物理学者スティーブン・ホーキング教授はいずれも、意識を持つAIが支配権を確立し、人類文明を脅かすことについて警告した。「特定通常兵器使用禁止制限条約（CCW）」および「ニューデリー規則第14条」は、使用者の制御から逸脱しうる兵器の使用を禁止しており、それによって文民を危険にさらすことを防いでいる。そのシナリオは依然として起こりそうにないと考えられるかもしれないが、これは世界に壊滅的な影響をもたらしうる一種のフロンティアリスクである。
L.A.W.S.がもたらすリスクを回避するための道筋
L.A.W.S.は軍事介入におけるもう一つの成果であるが、人間が監督的な役割で兵器に対する制御を保持する「ヒューマン・オン・ザ・ループ」方式を採用することは、はるかに安全である可能性がある。L.A.W.S.は、例えば新型コロナウイルス感染症、サイバー攻撃、気候変動のような明白な壊滅的リスクをもたらさないかもしれないが、これらすべてのリスクとその回避について、新たな視点から考える必要がある。リスクコミュニケーションにおいて、より透明性の高い経路が必要であり、AIリスク管理を監督する機関に投資し、軍事技術の発展速度を抑制する政策を制定する必要がある。国際連合は、軍事配備に一定のリスク水準を設定し、IHLに適合した配備を行う者にインセンティブを与えることができる（例えば、フォーラムの「スマートトイ・アワード」との協力のように、倫理を重視するロボットメーカーに報いる）。焦点は、戦争の技術を完璧にすることよりも、技術を通じて、戦争を行おうとする広範な傾向を抑制することを学ぶことに置かれるべきである。結局のところ、これはIHL、科学倫理、そして人類文明にとっての勝利となるであろう。
（これは部分的に、世界経済フォーラムがフロンティアリスクに関するグローバル未来評議会を設立した理由の一つでもある。同評議会は、多様で先見性のある構成員によって、将来の地球規模のリスクに新たな視点をもたらし、次世代にとっての重要な将来の衝撃を特定し、これらのリスクに直面する今日の強靭性を高める政策機会を提案することを目的としている。）
（ジェイク・オケチュクウ・エフォドゥはアブジャ・ハブのグローバル・シェイパーである。）
