世界有数の人工知能企業100社以上のトップは、「殺人ロボット」の開発に強い懸念を示している。国連宛ての公開書簡で、テスラのイーロン・マスクやGoogleのAI企業DeepMindの創業者を含む経営者たちは、自律型兵器技術がテロリストや独裁者に悪用されたり、ハッキングされて望ましくない動作をしたりする可能性があると警告した。
しかし、真の脅威ははるかに大きい。人間の不正行為だけでなく、機械そのものからも生じる。複雑系の研究によれば、個々の行動の総和よりもはるかに予測しにくい振る舞いが創発することがある。これは一つには、人間社会が個人の行動だけから予想されるものとは大きく異なる振る舞いをする場合があるということだ。しかし、これはテクノロジーにも当てはまる。比較的単純なAIプログラムの生態系、つまり私たちが「愚かで善良なボット」と呼ぶものでも、個々のボットが適切に動作しているときでさえ、私たちを驚かせることがある。個々の行動の総和よりもはるかに予測しにくい振る舞いが創発することがある。これは一つには、人間社会が個人の行動だけから予想されるものとは大きく異なる振る舞いをする場合があるということだ。しかし、これはテクノロジーにも当てはまる。比較的単純なAIプログラムの生態系、つまり私たちが「愚かで善良なボット」と呼ぶものでも、個々のボットが適切に動作しているときでさえ、私たちを驚かせることがある。
経済市場や世界の気象など、複雑系を構成する個々の要素は、単純な線形の形で相互作用するとは限らない。そのため、こうしたシステムのモデル化や理解は非常に難しい。たとえば、気候学が長年研究されてきた今も、長期的な天気予報は不可能だ。こうしたシステムは小さな変化にも非常に敏感で、爆発的なフィードバックループが生じることもある。また、ある時点でのシステムの正確な状態を把握するのも極めて難しい。これらすべての要因により、システムは本質的に予測不能となる。
こうした原則は、人間社会であれAIボットの集団であれ、それぞれが独自に行動する大規模な集団にも当てはまる。同僚たちと私は、最近、研究した複雑系の一例は、ウィキペディアの記事を自動編集する善良なボットを含むものだった。これらのボットは、ウィキペディアの信頼されている人間の編集者が設計し、活用している。基盤となるソフトウェアはオープンソースで、誰でも研究できる。個々のボットは百科事典を改善するという共通の目標を持つ。それでも、集団としての振る舞いは驚くほど非効率的であることが分かった。
ウィキペディアのボットは確立された規則や慣習に基づいて動作するが、サイトには一元管理システムがないため、異なるボットを運用する人々の間に効果的な連携がない。その結果、互いの編集を何年も取り消し合い、誰にも気づかれていないボットの組み合わせが見つかった。当然ながら、認知能力を持たないボット自身も、そのことに気づいていなかった。
ボットは編集作業を速めるために設計されている。しかし、ボットの設計や利用者の違いがわずかでも、資源の大規模な浪費につながることがある。人間の編集者ならはるかに早く解決できたはずの「編集合戦」が延々と続くのだ。
また、ウィキペディアの言語版によってボットの振る舞いが異なることも分かった。規則はほぼ同じで、目標は同一、技術も似ている。それでもドイツ語版では、たとえばポルトガル語版と比べて、ボット同士の協働がはるかに効率的で生産的だ。これは、異なる環境でボットを運用する人間の編集者の違いによってのみ説明できる。
指数関数的に増す混乱
ウィキペディアのボットは自律性が非常に低く、システムはすでに個々のボットの目標とは大きく異なる形で動いている。それでもウィキメディア財団は、ボットにより高い自律性を与えるAIの導入を計画している。そうなれば、さらに予想外の振る舞いにつながる可能性が高い。
人間と会話するよう設計された2つのボットが互いにやり取りすると、何が起きるかも一例だ。iPhoneのSiriのような人工パーソナルアシスタントの回答には、もう驚かなくなった。しかし、こうしたチャットボットを複数集めると、すぐに予想外の振る舞いを始め、口論したり、互いを侮辱したりすることさえある。
システムが大きくなり、各ボットの自律性が高まるほど、システムの将来の振る舞いは複雑になり、予測しにくくなる。ウィキペディアは、比較的単純なボットが多数いる例だ。チャットボットの例は、かなり高度で創造的なボットが少数いるケースだが、どちらも予期せぬ衝突が生じた。システムに個体を次々に加えるにつれて、複雑さ、そして予測不能性は指数関数的に増す。将来、多数の非常に高度なロボットから成るシステムができれば、予想外の振る舞いは想像を超えるものになりかねない。
自動運転車の混乱
たとえば、自動運転車は道路交通の効率と安全性を大きく向上させると期待されている。しかし、完全自律型車両が多数走る、統制の難しいシステムが実現したときに何が起こるかは、まだ分からない。そうした車両は、管理された環境にある少数の個別車両とは大きく異なる振る舞いをするかもしれない。さらに、異なる環境で異なる人間によって「訓練」された無人運転車が互いにやり取りし始めると、いっそう予想外の振る舞いが起こる可能性がある。
人間は新しい規則や慣習に比較的すばやく適応できるが、システムを切り替える際に戸惑うこともある。人工エージェントにとっては、さらに難しい場合がある。たとえば「ドイツで訓練された」車がイタリアを走るとしたら、多数の「イタリアで訓練された」車が従う明文化された規則や、明文化されていない文化的慣習にどう対応するのか、私たちには分からない。交差点を渡るというありふれた行為でさえ、車が想定どおりに連携するのか、それともまったく予測できない動きをするのか分からないため、命に関わるほど危険になりうる。
イーロン・マスクらが懸念する殺人ロボットについて考えてみよう。殺人ロボット1体でも、誤った者の手に渡れば非常に危険だ。しかし、予測不能な殺人ロボットのシステムとなったらどうだろう。考えることさえしたくない。
