2018年版の世界経済フォーラムの「Global Risks Report」は、ナショナリズムの台頭、地政学的な権力構造の不安定化、そして特にサイバー領域におけるリスクの高まりを描き、来たる年の厳しい見通しを示しています。
本報告書には10の「フューチャー・ショック」シナリオが含まれています。これらは慢心に警鐘を鳴らし、リスクが混乱を招くほどの速さで結晶化しうることを思い起こさせます。「複雑で相互に接続されたシステムにおいては、フィードバックループ、閾値効果、連鎖的な混乱が、突然の劇的な破綻を招きかねない」。
これらのシナリオの一つ、「A Tangled Web」は、一見単純ですが、人工知能の「雑草」が増殖してインターネットを占拠し、徐々に窒息させていく様子を描いています。これらの雑草は、制御を外れて暴走し、サイバーインフラ全体に徐々に広がり、ますます広大な空間とエネルギーを奪っていく低レベルのアルゴリズムです。
T.S.エリオットは1925年の詩「The Hollow Men」の中で、世界は爆発によってではなく、すすり泣きとともに終わる、と書きました。朗報としては、AIの雑草もまた世界を終わらせることはありません。これらはターミネーターのようなロボットではないのです。しかし、エリオットの詩の精神に照らせば、私たちが最も恐れるべきは壊滅的な出来事ではなく、当たり前のものとして受け止めてきた共通の財産が、ゆっくりと着実に侵食されていくことだと、これらは示しています。
大きく混乱したウェブは、世界の貿易やデータ革命の約束を損なうでしょう。知識の移転も深刻に阻害されます。各国政府が大規模なファイアウォールを築くにつれ、インターネットの「バルカン化」という傾向をさらに加速させる恐れもあります。仮にそれが医療用インプラント、航空管制ネットワーク、原子力発電所の運用システムに侵入し、あらゆる運用を停止させ、コンピューターの絶え間ない再起動を引き起こしたら何が起きるかを想像してください。確かに世界の終わりではなく、それに付随する何らかの利点すらあるかもしれませんが、私たちが頼るようになった世界は大きく変質することになるでしょう。
雑草の根
世界のサイバーインフラを窒息させうるアルゴリズムは、どのようにして生まれるのでしょうか。衝撃的なのは、それが悪意を必要とさえしないという点です（だからといって悪意が問題にならないわけではありません。悪意ある行為者がAIの兵器化を目指すことは間違いなく、私たちはそれにも備えるべきです）。「Tangled Web」が提起しているのは、知的アルゴリズムはいつかは制御不能に進化する運命にあり、私たちはそれに備えておいた方がよいということです。
当初、私たちは「汎用」アルゴリズムの開発に懸念を抱かないでしょう。このようなアルゴリズムは、コンピュータープロセスの最適化やシステムの整理のために、すでに存在しています。機械学習が進歩するにつれ、これらのアルゴリズムは必然的に、統合されたサプライチェーンにおけるデータフローの最適化など、さまざまな領域にわたって動作する自律性を次第に与えられるようになるでしょう。それらは隠れる能力を与えられなければならないでしょう。さもなければ、どうやってウイルス対策ソフトウェアを妨げずに動作できるでしょうか。また、トロイの木馬型ウイルスがすでに行っているように、自らのコピーを作成する能力や、複雑なデータセットにアクセスするために自律的に移動する能力も与えられるでしょう。やがて、目標を達成するために、自らのサブルーチンや環境のサブルーチンを修正する能力も必然的に付与されるでしょう。
ここまでは、現在の機械学習アプリケーションとほとんど変わりません。しかし、これらの特性を組み合わせると、事実上、複雑な適応システムが生み出されることになります。それは、しばしば変異を伴いながら自己複製する自律エージェントから成り、自己持続的な進化につながるシステム、言い換えれば、生命の強力な生存本能を模倣するシステムです。
突然、私たちのコンピューターや接続されたすべてのデバイスは、雑草のように素早く適応して移動し、エネルギーを収穫し、生存空間を奪う新たな方法を探すアルゴリズムで満たされるでしょう。それらは学習し、その教訓を他のアルゴリズムと共有する能力を持つでしょう。私たちが根絶できない空間を発見し、占拠するでしょう。メモリと帯域幅はますます詰まっていくでしょう。古い建物に生えた雑草のように、定着すればするほど、より大きな被害を与えるでしょう。
これは遺伝的アルゴリズムとは異なります。後者も進化の原理を応用しているとはいえ、遺伝的アルゴリズムは分野特化型で、厳しく制約され、方向づけられています。これらの自律的なAIの「雑草」とは大きく異なります。
コーディングのミスや予測の誤りがそれほど多くなくとも、自律システムがインターネット上をさまよう事態は起こりえます。機械学習の最近の進歩により、コードを書けるコンピューター、そして何千台ものマシンをネットワーク化できる転移学習の出現により、私たちはそこまであと一歩かもしれません。すでにコンピューターは日常的に予測分析を行っており、あるいは投機的実行を行っています。より高い自律性は、論理的な発展にすぎないのです。
アルゴリズムの雑草の出現によるものであれ、サイバーインフラに対する他の世界的な伝染によるものであれ、「Tangled Web」は、世界のサイバーインフラに対するシステム的脅威を認識し、それをどのように軽減するかを自問するよう促すものです。この物語の要点は、機械学習や人工知能に伴う潜在的リスクは、他人の問題ではなく、まもなく私たちの問題になるということです。
これに対して私たちは何をすべきでしょうか。
多くの専門家は、人工知能が未来を私たちが想像もできない形で変えていくと評価しており、その速度はこれまで経験したどのものよりもはるかに速いと見ています。これは新たな機会をもたらしますが、混乱を生じさせることも避けられません。リスクや危機を根絶することはできません。それらはイノベーションを推進する要素の一部であり、小規模で管理された段階的な形で、実際にはレジリエンスの向上に役立ちます。したがって、危機や深刻な混乱は起こるものと想定し、一方ではデジタルインフラの脆弱性を低減し、他方では危機からより回復しやすくする取り組みを進めなければなりません。それは、人々、関係、技術から成る社会技術システム全体に目を向けることを意味しますが、同時に、人々、技術、そしてより広い環境の間の関係を結び、規制する価値観、前提、確立された手続きにも目を向けることを意味します。
2つの課題群が際立っています。第一に、サイバーインフラの脆弱性にどう対処するか。第二に、AIに必要な安全策をどう組み込むかです。
インターネット、そしてそこから接続されたデバイスの世界全体が、なぜこれほど脆弱になったのかは興味深い問題です。その要因は、何がうまくいかなくなりうるかについての予見の欠如にどれほど起因しているかにあります。創設者の一人が、ネットワークの設計について次のように述べています。「私たちが行ったことの大半は、問題を予測してではなく、問題が起きてから対応したものでした。」よく言われるように、ネットワーク化された通信の約束に全員が注目していた一方で、セキュリティは主に後回しにされていたのです。
この問題は、デジタル経済の現在のビジネスモデルによってさらに深刻化しています。このモデルは、極めて脆弱な世界のサイバーインフラを生み出してきました。インセンティブは、製品をできる限り迅速かつ安価に市場に投入することを優先させます。その結果として、粗雑なコード、適切なチェックを経ずに展開されるエラーだらけのプログラム、そして消費者が企業を訴え、責任を追及する能力を減じる、意図的に分かりにくくされた利用許諾契約が生まれています。このため私たちは、サイバー犯罪から外国による干渉、壊滅的な障害に至るまで、あらゆる脅威にさらされています。
何が行われるべきかを長々と列挙することは容易です。私たちはパソコンに基本的なサイバー衛生を適用することをもっと上手く行う必要があります。より高い安全性と倫理基準を満たす製品が必要です。試験と認証の制度も必要です。デジタルコンテンツの無償アクセスや安価なデジタル機器への依存から脱却し、より高い品質基準を提供する製品やサービスに対価を支払い始める必要があります。リストは続きます。
しかし、他のあらゆる政策分野が示してきたように、「あるべき」ことと実際に起きていることの間には大きな隔たりがあります。究極的には、現在の「コモンズの悲劇」、すなわち誰も共通の利益を守るために投資しようとしない状況を、無数の個人の決定が独立して、システムをより脆弱ではなくより堅牢にすることに寄与するような状況へと転換したいのであれば、企業や行動のインセンティブをどう設定するかについて、真剣な再考が必要となるでしょう。
法制化とインセンティブ
好むと好まざるとにかかわらず、そのような手段の一つはより良い法制化であり、主要なセキュリティ専門家がますます求めているようにです。
規制には多くの欠点があり、そのため正当な理由から抵抗されることも少なくありません。不適切に設計されれば、イノベーションを減速させかねず、その結果、競合国の利益になる可能性もあります。一般に規制は技術革新に遅れがちであり、歪んだインセンティブを生み出すこともあります。倫理規範やその他の自主的な仕組みといったソフトガバナンスが、概して好まれています。しかし現実を直視しましょう。重い罰金や強制措置という「鞭」がなければ、自主規制は単に行われず、サイバーインフラの慢性的な脆弱性に対処するために必要な規模では、確実に行われないでしょう。
そこで問題となるのは次の点です。規制とソフトロー型ガバナンスのどのような組み合わせが必要なのか。刑事上の責任をどのように強化するのか。必要なインセンティブを最もよく生み出せる賠償責任保険とはどのような形態か。
サイバー脆弱性に対処するためのハードおよびソフトの規制インセンティブを考案する際には、将来の技術と、それがサイバー・エコシステムの形成において果たす役割を予見する必要があります。究極的には、利便性、セキュリティ、有効性の間の微妙なトレードオフを管理するために、技術そのものに頼る必要もあるでしょう。人間の専門知識では、この課題の速度と複雑さに見合うようにすることはもはや拡張できません。私たちは次第に、システムが障害を予防し、そこから回復することを助けるために、自律的な判断を下せる知的ネットワークを設計することに依存するようになるでしょう。
そこで次の論点に至ります。「知的な」機械にどれほどの自律性を委ね、重大な事故が起きたときに、アルゴリズムの責任をどのように問うのか。コードを書くコードへの依存が深まるにつれ、アルゴリズムがどのように判断に至るかを追跡する能力は、極めて速やかに失われていくでしょう。私たちが作ったコードと、私たちの価値観や利益との間に衝突が生じた場合はどうなるのでしょうか。庭で増殖している侵入植物を制御できている以上に、増殖するアルゴリズムを本当に制御できているでしょうか。
キル・スイッチ
したがって、新たに出現する法律全体やソフトガバナンスの手段を検討する際には、今日の技術を見るだけでは不十分です。明日の技術と共にどう生きるかを予見する必要があります。私たちはどのように機械学習アルゴリズムにおけるバイアス、プライバシー、セキュリティ、説明可能性などの懸念に対処するのでしょうか。機械がどのように判断するのかをもはや理解できないかもしれない世界において、刑事上の責任をどのように構想すればよいのでしょうか。責任が本来あるべき場所に置かれるよう、必要なインセンティブを設定するために賠償責任保険をどう活用できるでしょうか。最終的な責任の所在をどう定義すればよいのでしょうか。自律技術が制御不能に陥った場合に、遠隔で無効化できるキル・スイッチを備えることを確実にするには、ソフトとハードのガバナンスをどう組み合わせればよいのでしょうか。
倫理規範や、アルゴリズムの透明性を確保するためのより良い方法を求める、活発化しつつある動きは、奨励すべき歩みです。例えば、国連における新たな議論や、その他の多国間フォーラムにおける議論は、AIの兵器化の防止や、AIの利益を最大化するのに役立つ研究への投資拡大に関するものです。
しかし、これらの取り組みが実を結ぶためには、システム的リスクを監視し、一見無関係に見える進展が、破滅的な障害につながりうる暴走的な影響の条件を生み出したときに、「点と点を結びつける」集団的な能力も必要になるでしょう。AI倫理学者のウェンデル・ウォレスが提唱してきたように、技術革新を包括的に監視することで、重要な転換点の認識が容易になります。課題は、その方法をどう定義するかです。
一つ確かなことがあります。どのような仕組みを選択するにせよ、私たちのデジタルな未来の長期的な安全性と存続可能性は、他人の問題ではなく、今まさに私たちの問題であるということです。
ジョエル・ジェニーは、ハーバード大学ウェザーヘッド国際問題研究所の研究員です。上級外交官として、サイバーセキュリティ、軍備管理、紛争予防に関する国際交渉を主導しました。国際安全保障に関するグローバル・フォーラム評議会のメンバーです。2018年版Global Risk Reportに、AIの雑草シナリオ「A Tangled Web」を寄稿しました。
