AIの約束と危険性 - Radio Davos でのスチュアート・ラッセル

• AI（人工知能）は、私たちの生活のあらゆる側面を変革しつつあります。

• スチュアート・ラッセル教授は、AIを「人間と両立する」ものにする必要があると述べています。

• 私たちは、機械がほとんどの仕事で人間に取って代わる世界に備えなければなりません。

• ラッセル氏によれば、ソーシャルメディアのAIは、人々がより多くクリックするように人々を変えてしまいます。

• 同氏は、アルゴリズムは「長すぎるほど、お目こぼしを受けてきた」と述べています。

• エピソードページ: https://www.weforum.org/podcasts/radio-davos/episodes/ai-stuart-russell

世界の10人中6人が、今後3～5年で人工知能が自分たちの生活を大きく変えると予想しています。これは、新たなイプソス社の世界経済フォーラム向け調査（28カ国のほぼ2万人を対象に実施）によるものです。

回答者の過半数は、教育、エンターテインメント、交通、ショッピング、安全、環境、食品などの分野で、AIを使用した製品やサービスがすでに生活を便利にしていると答えました。しかし、AIを利用する企業を他の企業と同じくらい信頼していると答えたのは、半数にとどまります。

しかし、人工知能とは一体何でしょうか。人類最大の課題のいくつかを、AIはどのように解決できるのでしょうか。そして、AIそのものが人類にどのような脅威をもたらすのでしょうか。

ケイ・ファース＝バターフィールド、世界経済フォーラム第四次産業革命センターで人工知能・機械学習部門の責任者を務めており、Radio Davosのホストであるロビン・ポメロイとともに、AIに関する世界有数の専門家スチュアート・ラッセルと、これらの問いを掘り下げました。

本ポッドキャストで言及されたAIのレポートおよび音声:

Positive AI Economic Futures

AI C-Suite Toolkit

ISPOS poll

スチュアート・ラッセルのリース講義（BBC）

スチュアート・ラッセルが語る、AIの未来が私たちの手に委ねられている理由

02:49

文字起こし：AIの約束と危険性 - Radio Davos でのスチュアート・ラッセル

ケイ・ファース＝バターフィールド: スチュアートをご紹介できることを嬉しく思います。彼は人工知能について2冊の本を書いており、Human Compatible: Artificial Intelligence and the Problem of Control。しかし、おそらく、彼が「文字通り人工知能の本を書いた」と言及したのは、つまり、Artificial Intelligence: A Modern Approach ――世界中の多くの学生がAIを学ぶ際に使う本です。ステュアートと私は2014年、彼が英国で行った、致死性自律兵器に対する懸念についての講演で初めて会いました。今日はその話はしませんが、彼は国連でこうした兵器の禁止に向けて休みなく取り組んでいます。ステュアートは世界経済フォーラムとも多くの協力をしてくれています。2016年には、世界経済フォーラムのAIとロボティクスに関するグローバルAI評議会の共同議長に就任しました。さらに2018年には、当フォーラムのグローバルAI評議会に加わりました。同評議会の一員として、彼は、将来に向けた進路を描くため、今から政策を立案し策定することで、AIによる前向きな未来をどう実現できるかを私たちに考えさせてくれました。

ロビン・ポメロイ: スチュアート、Zoomで画面越しにご参加いただいていますね。お会いできて嬉しいです。

スチュアート・ラッセル: お招きいただき、ありがとうございます。ケイとあなたと一緒にお話しできて、本当に嬉しいです。

ロビン: 今、世界のどちらにいらっしゃいますか？

スチュアート: カリフォルニア州バークレーにいます。

ロビン: そちらで教授をされているんですね。BBCラジオ4とワールドサービスで、あなたの講義を聴いてきました。「リース講義」です。おかげで、数週間前までは詳しくなかったのに、今では自分がこの分野の専門家になったような気がしています。とはいえ、まずは一番基本から始めましょう。人工知能が何なのか、ぼんやりとしか分からない人のために言うと、私たちはみんなコンピューターが何かは知っていて、アプリも使っています。そのうちどれくらいが人工知能なのでしょうか。また、今すでにあるものを超えて、AIは将来私たちをどこへ連れて行くのでしょうか。

スチュアート: 実のところ、「このソフトウェアはAIで、あのソフトウェアはAIではない」と明確に線引きするのは驚くほど難しいのです。この分野では、AIについて論じる際の対象を「エージェント」と呼びます。これは、知覚したものに基づいて行動する存在を指します。その知覚はカメラを通じても、キーボードを通じても得られます。行動は、画面に表示すること、自動運転車のハンドルを切ること、戦車から砲弾を発射することなど、何でもあり得ます。AIの目標は、そこから出てくる行動が確実に正しいもの、つまり、エージェントに設定された目的を実際に達成する行動になるようにすることです。これは、経済学や哲学で長く存在してきた「合理的エージェント」という概念と結び付きます。つまり、その行動が目的の達成につながると期待できるエージェントのことです。

ですから、私たちはそれを目指しているのです。エージェントは非常にシンプルなものにもなり得ます。サーモスタットもエージェントです。温度を測定するという知覚を持ち、ヒーターのオン・オフを切り替えるという行動を取ります。そして、非常にシンプルな2つのルールがあります。暑すぎたら切る。寒すぎたら入れる。これはAIでしょうか。実のところ、それをAIと呼ぶかどうかは、あまり重要ではありません。「ルールが17個あればAI、16個ならAIではない」といった明確な境界線は存在しません。そんなことは意味をなさないからです。ですから、私たちはこれを連続体として捉えています。極めて単純なエージェントから、人間のような極めて複雑なエージェントまでの連続体です。

現在、AIシステムは経済のあらゆる場所に存在しています。検索エンジンもAIシステムです。もはや単なるキーワード検索システムではなく、ユーザーのクエリを理解しようとしています。検索エンジンに入力されるクエリのおよそ3分の1は、答えが掲載されたウェブページを提示するのではなく、ナレッジベースによって回答されています。機械が読み取れる形式で大量の知識を保持しているため、実際に答えを教えてくれるのです。

スマートスピーカーや、スマートフォンのデジタルアシスタントも、すべてAIシステムです。機械翻訳もそうです。私はフランスで税金を納めなければならないので、機械翻訳をよく使っています。機械翻訳は、難解なフランスの税法を、同じく難解な英国の税法に翻訳するという点で、非常に優れた働きをします。ですから、私自身にはあまり役立ちませんが、翻訳としては非常に質が高いのです。そして自動運転車です。これは、知覚する能力、状況を理解する能力、そして、運転中に生じ得るリスクや多くの起こり得る事態を考慮しなければならない複雑な意思決定など、多くの要素が求められる、AIの典型的な応用例だと言えるでしょう。そして当然ながら、最も高度な存在は人間です。

ロビン: 将来のある時点で、機械、つまりAIは、人間ができることをすべて、より上手にこなせるようになるのでしょうか。私たちはそこに向かっているのでしょうか。

スチュアート: はい。これは常に目標とされてきたものです。私はそれを「汎用AI」と呼んでいます。ほかにも、人間レベルのAI、超知能AI、汎用人工知能などの呼び方があります。私が「汎用AI」という名称に落ち着いたのは、「超知能AI」よりも少しだけ威圧感が少ないからです。そして、おっしゃるとおり、これは人間が知的能力を使ってこなせるあらゆる課題について、AIシステムがそれを既にこなせない場合でも、非常に速く学習して、人間と同等かそれ以上にこなせるようになることを意味します。また、ほとんどの人は、ある特定の課題で人間レベルに達すると、人間の水準を超えるのはそれほど難しくないと理解していると思います。機械は計算能力、速度、帯域幅において圧倒的な優位性を持っているからです。また、膨大な速度でメモリから情報を保存・検索する能力など、人間の脳が到底及ばない能力もあります。

ロビン: ケイ、ここからはあなたにバトンを渡して、私は一歩引きます。必要であれば、共同司会者として参加しますよ。私も質問が山ほどあるので、ついつい口を挟んでしまうかもしれませんが。とにかく、このインタビューの残りは、すべてあなたにお任せします。

ケイ: ありがとうございます。スチュアート、あなたは私たちが日常的に出会うAIの事例について、少し話されました。しかし、年齢を問わず、人々が毎日AIを利用している方法の一つが、ソーシャルメディアです。ソーシャルメディアを通じた過激化については、よく耳にします。実際、先日出席した会議で、フランスのデジタル担当大臣であるセドリック・オー氏は、AIが現時点で民主主義にとって最大の脅威だと述べていました。リスナーのために、現在のAIの利用がどのようにして、そうした考えの二極化を促しているのかを説明していただけますか。

スチュアート: それは非常に重要な問いだと思います。ただ、あなたの質問に答えるうえでの問題は、実は答えが分からないことです。その情報は、ソーシャルメディア企業の金庫の奥深くに隠されているからです。そして、そうした情報は基本的に毎週数兆件のイベントに相当します。数兆です！ 何十億人もの人々が1日に何百回もソーシャルメディアを利用しており、そのエンゲージメントの一つひとつ、つまりクリック、スワイプ、非表示、いいね、低評価、サムズアップ、サムズダウン、その他なんでも、そのすべてのデータは、外部からはアクセスできません。例えば、本来これを監視することになっているFacebookの監督委員会でさえアクセスできないのです。そのために作られたはずなのに。しかし、その委員会は内部データにアクセスできないのです。

ですから、いくつかの逸話的な証拠はあります。また、分析が可能なデータセットもいくつかあり、それらは示唆的ではありますが、決定的とは言えないと思います。しかし、アルゴリズムの仕組みを考えると、その目的はクリック率の最大化です。人々に何かをクリックさせ、コンテンツに関わらせ、プラットフォーム上で時間を過ごさせたいのです。これは少し異なる指標ですが、基本的には同じことです。

そして、こう思われるかもしれません。「人々にクリックさせるには、関心のあるものを送るしかないのだから、それの何が悪いのか」と。しかし、それは答えではありません。それはクリック率を最大化する方法ではありません。クリック率を最大化するには、実は、人々を、将来あなたが送るであろうどんなコンテンツにもよりクリックしやすい別の人物へと変えてしまうような、一連のコンテンツを送ることなのです。

少なくとも、私たちが構築した数理モデルによれば、アルゴリズムは人々を操作して、彼らを変えることを学習しています。将来より影響を受けやすくなり、より高い率で収益化できるようにするためです。

さらに同時に、もちろん、このプロセス全体を支える、人間が主導する巨大な産業も生まれています。クリックベイト産業、偽情報産業です。つまり、人々はアルゴリズムが人々を急速に変えられる能力を乗っ取ってしまったのです。なぜなら、それは1日に何百回もの接触であり、誰もが少しずつ後押しされるからです。しかし、誰かを1日に何百回も、何日も続けて後押しすれば、その人の信念、好み、意見を大きく動かすことができます。アルゴリズムは、あなたがどんな意見を持っているかは気にしません。ただ、彼らが送るものに影響されやすいかどうかを気にするだけです。しかし当然ながら、人々は気にかけるのです。そして、人々はそのプロセスを乗っ取り、それを利用して、自分たちの目的に都合のよい二極化を生み出したのです。また、私たちが実際により多くの可視性を得ることが不可欠だと思います。AI研究者はそれを望んでいます。私たちはこれを理解し、実際に修正できるかどうかを確かめたいからです。政府もこれを望んでいます。社会構造全体が崩壊しつつあることや、自国の最善の利益を考えていない他国によって弱体化させられていることを、政府は本当に恐れているからです。

ロビン: スチュアート、これはアルゴリズムの副産物なのか、それとも、誰かがどこかの時点でこの二極化をアルゴリズムに組み込んだのか、分かっているのでしょうか。

スチュアート: 私は副産物だと考えています。ソーシャルメディア・プラットフォームには、それを意図しなかったと信じたい部分もあります。しかし、アルゴリズムがうまく機能して、企業に大きな収益と利益をもたらしている場合、アルゴリズムを変えようとする力は強く働かないことがわかっています。ですから、意識的であれ無意識的であれ、アルゴリズムはある意味、多国籍の上部構造によって守られています。その構造は、数十億ドルの収益を生み出しており、その恩恵を享受し、その収益源を守りたいと考えているのです。

ケイ: スチュアート、あなたは私たちを「操作する」という言葉を使いましたが、同時に、アルゴリズムは気にしないとも言いました。そのようなアルゴリズムが実際にどのようなものか、説明していただけますか。そして、おそらく、人間について何も知らないから気にしないのでしょうか。

スチュアート: そのとおりです。人間が存在することすら知りません。アルゴリズムの視点から見ると、一人ひとりは単なるクリック履歴です。つまり、何が提示され、あなたがそれをクリックしたかどうか、ということです。たとえば、直近の100件、あるいは直近の1,000件のそうしたやり取り、それがあなたです。そしてアルゴリズムは、「では、その1,000件のやり取りを使って、次に何を送るかを選ぶにはどうすればよいか」を学習します。私たちはそれを「ポリシー」と呼びます。これは、これまでのやり取りの履歴を踏まえて次に何を送るかを決めるものであり、長期的なクリック率を最大化するように、時間をかけてポリシーが学習されるのです。つまり、アルゴリズムは単に、次にあなたがクリックしそうな最良のものを選ぼうとしているわけではありません。アルゴリズムの構造上の理由から、長期的に最良の結果をもたらすものを選ぼうとしているのです。

たとえば、ここからサンフランシスコへ行きたいとすれば、そうですよね？ 長期的な計画を立てて、それを実行に移し始めます。椅子から立ち上がり、ほかにも様々なことをするわけです。アルゴリズムもこれに似て、ある種の旅に出ているのです。そして、人々がより予測可能になる目的地へたどり着く方法を学習しました。アルゴリズムが収益最大化の観点で気にしているのは、この予測可能性なのです。いずれにせよ、アルゴリズムは意識を持たないでしょう。ただ、それは、人々を過激化させたり、テロリストにしたりするという明確な目的を持っているという意味で、意図的なものではありません。さて、人間が存在し、私たちが心を持ち、特定の心理と異なる感受性を持っていることを知っている、将来のさらに多くを知るアルゴリズムは、はるかに効果的になり得ます。そして、これは最初は少し逆説的に感じられることの一つです。AIが優れているほど、結果は悪くなるのです。

ケイ: あなたは「学習」、つまりアルゴリズムが学習することについて話されました。そして、これは多くの人があまり理解していないことだと思います。私たちは長い間ソフトウェアを使ってきましたが、これは少し違うからです。

スチュアート: 実は、私たちが使ってきたソフトウェアの多くは、学習プロセスによって作られたものです。たとえば音声認識システムです。「cat（キャット）」と「cut（カット）」をどう区別するかのルールを、誰かが打ち込んでいるわけではありません。アルゴリズムに「cat」の例と「cut」の例を大量に与えると、アルゴリズムは、何らかの大きな回路のパラメータを調整することで、区別のためのルールを学習します。回路には、調整可能な重みや接続強度が多数あると考えてください。回路内のそれらすべての重みを調整すると、回路の出力が変化し、「cat」と「cut」をより正確に区別できるようになっていきます。そして、学習データ、つまり「cat」と「cut」のラベル付きの例に合うように、それらの重みを調整していくのです。すべての重みを調整するプロセスが進むにつれて、やがて学習データに対して完璧に近い性能を発揮するようになります。そして、新しい「cat」または「cut」の例が現れたときに、正しく分類できることを期待します。音声認識システムは、何十年もこのようにして訓練されてきました。現在は当時より少し改良され、より正確で、はるかに頑健になっています。車を運転しながら、ひび割れた携帯電話の回線で話していても、あなたの言っていることを理解できるほどです。今では、音声を理解するのに十分な性能を持っています。

たとえば音声認識ソフト、つまり口述筆記ソフトを購入すると、いわば「購入後の学習段階」と呼べるものがよくあります。その時点でも既にかなり優れていますが、あなたの声に特化して学習させることで、さらに精度が高まります。ソフトは数文を読み上げるように求め、その追加データによって、あなたに対してさらに正確になるのです。

ですから、ソーシャルメディアのアルゴリズムで起きていることも、それと同じように考えることができます。一種の購入後のカスタマイズ、つまり、あなたについて学習するプロセスです。最初は、一般の人々の関心を引く記事を推薦するかもしれません。それは、私の見る限りでは、キム・カーダシアンのような話題です。しかし、しばらくあなたとやり取りするうちに、こう学習します。「いや、むしろクリケットのスコアなど、そういうものを見たいのだな」と。

ケイ: 顔認識も同じでしょうか。顔認識が誤認識を起こしたり、有色人種の人々で間違いが生じたりすることは、よく耳にします。それはデータが間違っているからでしょうか。

スチュアート: 通常、それはデータが間違っているからではありません。その場合は、特定のタイプの人々の事例が非常に少ないからです。事例が少なければ、そのサブセットに対する精度は低くなります。これは非常に議論の多い問題で、実際、より代表性のあるデータセットを作ることによって、認識率の格差を解消できるかどうかについて、議論に関わるさまざまな立場の間で合意を得ることは非常に困難です。もちろん、完全に代表的なデータセットは一つだけではありません。ナミビア、日本、アイスランド、モンゴルのいずれにいるかによって、何が完全に代表的なデータセットなのかは異なるからです。その4つの状況すべてで、まったく同じデータを使うのが適切とは限りません。ですから、これらの問いは、技術的な問題というよりも、むしろ「社会技術的」な問題になります。重要なのは、特定の文脈でAIシステムを展開し、しばらく稼働したときに何が起きるかです。多くのことが起こり得ます。たとえば、人々がカメラのある場所を避け始めるかもしれません。しかし、カメラのある場所を避けるのは特定のタイプの人だけで、ほかの人々は気にしないかもしれません。すると、データの収集において新たなバイアスが生まれたことになります。そして、そのバイアスは理解するのが非常に難しいものです。誰がカメラのあるエリアを避けるのかは予測できないからです。そうしたことを理解するには、AIシステムが社会技術的に組み込まれること、どのような影響を及ぼし得るか、社会がそのシステムやその運用にどのような影響を及ぼすかを理解するための、本当の意味での工学的な学問分野や科学的アプローチには、まだほど遠い状態です。そして、その結果、私たちは皆より良くなっているのでしょうか。それとも、皆より悪くなっているのでしょうか。初期の逸話からは、私たちがそれについて考えることに慣れていないため、予想もしない奇妙な形で物事がうまくいかなくなることが、さまざまに示唆されています。

さて、都市計画の分野では、奇妙なことが起こることを何世紀にもわたって学んできました。道路を広げると交通の流れが良くなると思うかもしれませんが、大きな道路を作ることで、かえって交通の流れが悪くなることもあるとわかっています。同じことが、川に橋を架けるべきかどうかにも言えます。彼らは、結果を実際に考え抜くことを学んできました。たとえば、通りを歩行者専用にすると、「ああ、それは良いことだ」と思うかもしれません。しかし、それによって交通が別の場所に移り、次の地区で状況が悪化することもあります。ですから、さまざまな複雑な事柄があり、私たちはまだそれらを探求し始めたばかりで、適切な学問分野としてはまだ確立されていません。AIシステムとその社会技術的な組み込みに対応する都市計画のようなものは存在しないのです。

ケイ: 2019年頃だったと思いますが、あなたは私に提案をされました。それは、人間にとってのAIの利益、特にあなたが先ほどロビンに話した汎用AIの利益を、本当に最適化することでした。私たちは、使用している政治・社会システムを再考する必要があります。当初は、人々を部屋に閉じ込めるような形で集める予定で、そこに集まるのは特に経済学者とSF作家でした。COVIDがあったため、それは実現しませんでした。しかし、ワークショップは本当に非常に興味深いものでした。そこで、なぜあなたがそれが重要だと考えたのか、そしてそこからどのようなアイデアが生まれたのかを、少し教えていただけますか。

スチュアート: 視聴者の皆さんにお伝えしておきたいのですが、文字通り人々を部屋に閉じ込めるつもりだったわけではありません。比喩的な意味です。懸念、あるいは問いは、汎用AIが実体経済に入り込んだら何が起きるのか、物事はどう変わるのか、そして、大規模な雇用の混乱を起こさずに、それに適応できるのか、ということでした。これは非常に古い論点ですからね。驚くべきことに、アリストテレスでさえ、こう書いている箇所があります。「ほら、もし完全に自動化された機織り機や、人間なしで竪琴を弾いて音楽を奏でられる完全に自動化された撥（ばち）があれば、労働者は一人も必要ないだろう」。紀元前350年にしては、なかなか驚くべきことです。

その考えは、1930年にケインズが「技術的失業」と呼んだもので、人々には非常に明白です。そうでしょう？ 人々はこう考えます。「ええ、もちろん、機械が仕事をするなら、自分は失業するだろう」と。ラッダイト運動の人々もそれを心配しました。そして長い間、経済学者たちは、技術的失業は不可能だという数学的な証明を持っていると実際に考えていました。しかし、よく考えてみてください。もし技術が地球上の一人ひとりの分身を作ることができ、その分身がより陽気で、二日酔いもせず、無償で働くことを厭わないとしたら、いったい何人が今の仕事を続けられるでしょうか。答えは、ゼロだと思います。ですから、経済学者の数学的定理には、何かがおかしいのです。

過去10年ほどの間に、経済学の見解は大きく変化しました。実際、それは、最初のダボス2015年に参加した会議の中で、最も印象に残っているものの一つです。「新しいデジタル経済」を議論するはずの夕食会がありました。しかし、立ち上がった経済学者たち（ノーベル賞受賞者を含む、ほかにも非常に著名な経済学者が数名いました）は、次々とこう言いました。「実は、デジタル経済の話はしたくありません。AIと技術的失業について話したいのです。経済的な観点から見れば、これは世界が直面している最大の問題です」。彼らの見通しでは、汎用AIが現実のものとなるにつれて（現時点ではまだそこまで近づいてはいませんが）、人間が仕事で行っているタスクの多くを、AIシステムが担えるようになっていくからです。

一例を挙げましょう。AmazonなどがE-コマース向けに現在運営している倉庫を考えてみてください。それらは半自動化されています。従来の倉庫では、あちこちに商品が山積みになっており、作業員がそれを探し回り、持ち出して発送していました。現在は、必要な商品が入った棚ユニットをロボットが取りに行き、作業員のもとまで運んできます。作業員はその場所に立ったままで、ロボットが次々と商品棚を集めて運んできます。ただし、ビンや棚から商品を取り出すのは、作業員が行わなければなりません。それはまだ技術的に難しすぎるからです。

そして、世界でその仕事に就いている人は、仮に300万人から400万人ほどいるとしましょう。一方で、Amazonはビンピッキング（ビンや棚から商品を取り出す作業）のコンテストを開催していました。それは、購入可能な非常に多様な商品のほぼすべてを、棚やビンなどから正確に取り出し、発送部門へ送ることのできるロボットを作れるか、というものです。それが実現すれば、一気に300万人から400万人分の仕事がなくなるでしょう。しかも、そのシステムはすでに準備が整っています。つまり、すべてを作り直す必要はなく、人間がいた場所にロボットを置くだけでよいのです。

人々は自動運転車を心配しています。それが現実のものとなれば、自動運転タクシーの料金は、通常のタクシーのおそらく4分の1ほどになるでしょう。どうなるかは、明らかではないでしょうか。世界には、正規・非正規を問わず、タクシー運転手が約2,500万人いると思います。ですから、影響はそれよりも大きくなります。そして、新たな能力が登場するたびに、この流れは続きます。さらに多くのタスクが自動化されていきます。その変化のペースに合わせて、人々が行える新たな仕事を見つけ、人々が知らないかもしれない新しい仕事を行えるように訓練することはできるのでしょうか。「みんなをデータサイエンティストに再教育すればいい」と言うのは簡単です。しかし、第一に、25億人のデータサイエンティストは必要ありません。250万人のデータサイエンティストさえ必要かどうか分かりません。焼け石に水です。

一方で、ほかの分野では、高齢者介護ができる人材がもっと必要です。しかし、25年間トラック運転手をしてきた人を、介護業界で働けるように訓練するのは、それほど簡単ではありません。幼い子どもの家庭教師もそうです。世界には、ほかにも満たされていないニーズが数多くあります。これは、ほぼすべての人にとって明らかだと思います。機械はそれらのニーズの一部を満たせるかもしれません。しかし、人間がそれを満たせるのは、そのような仕事のための訓練を受け、必要な知識や適性、さらには意欲を持っている場合に限られます。

そこで私たちが問いかけていたのは、次のことです。このプロセスが続き、汎用AIが私たちが今「仕事」と呼んでいるものをほぼすべて行うようになったとしたら、世界はどのようになるのでしょうか。あるいは、あなたが自分の子どもたちに入ってほしい、そこで暮らしてほしいと思うのは、どのような世界でしょうか。SF作品を見ると、非常に望ましく思える世界の描写がたくさんあります。しかし、それらを経済システムとして考えると、うまく成り立ちません。経済学者はこう言います。「その世界ではインセンティブが機能しないだろう。ある人たちはそれをやめてしまい、別の人たちがこれを行うようになり、結局すべてが安定しなくなる」と。また、経済学者は、実際には新しいものを発明するわけではありませんよね。「この税率を引き上げることもできるし、この金利を引き下げることもできる」と話すだけです。ダボスに集まった経済学者たちは皆、「民間の失業保険を導入できるかもしれない」と言っていました。ええ、それで問題が解決するなら結構です。そこで私は、この二つのグループを一緒にしたかったのです。そうすれば、実際の経済的理解によって抑制された想像力が得られるかもしれないからです。

ロビン：経済学者とSF作家のうち、どちらが楽観的で、どちらが悲観的だったのか気になります。SF作家はディストピアや、物事がひどく悪い方向へ進む話が好きだと想像します。しかし、その裏返しとして、現実世界で常に物事がうまくいかない状況の中に身を置いている経済学者よりも、むしろ楽観的な見方をしているのではないでしょうか。どちらか一方の傾向は見られましたか？

スチュアート：おっしゃるとおり、SF作家はディストピアを好みます。しかし、少なくとも、あの夕食会にいた経済学者の多くは悲観的でした。この一連のワークショップでも、多くの経済学者と意見を交わしてきました。多くの経済学者は今でも、補償効果があると考えているように思います。機械が仕事Xを行うからといって、その人が仕事Xをしなくなり、失業するという単純な話ではない、という見方です。補償効果とは次のようなものです。機械がより安く、より効率的に、より生産的に何かを行うと、社会全体の富が増え、その富が経済全体の他の仕事への需要を押し上げます。その結果、自動化された分野から、まだ自動化されていない分野へと労働力が再配分されるのです。しかし、すべてを自動化してしまえば、これは双子の議論になります。つまり、無償で働こうとする人すべてに対して、その双子を作るようなものです。そこで考えなければならないのは、自動化しない分野があるのかどうかです。それは、私たちがそれを望まないからかもしれませんし、人間が本質的に優れているからかもしれません。これは一つの楽観的な見方だと思います。ケインズもこの見方をしていたと言えるでしょう。彼はこれを「人生の技術の完成」と呼びました。人類は、いかに快く、賢明に、そして善く生きるかという、永続的な問題に直面することになる。そして、人生の技術をより良く磨いた人々が、この未来においてはるかに成功するだろう、と。

ですから、人生の技術を磨くことは、人間が理解していることです。私たちは人生とは何かを理解しており、互いに非常に似ているため、それを互いに行うことができるのです。私たちは同じ神経系を持っています。私はよく、金槌で親指を打つ例を挙げます。誰でも一度は経験があるでしょう。そうすれば、それがどのようなものかを知っており、同じ経験をした人に共感することができます。

金槌で親指を打つとはどういうことかを知るために、神経科学の博士号は必要ありません。うまくできていなくても、ただ実際にやってみればよいのです。そうすれば、その感覚が分かるでしょう。そのため、人間には「それがどういうことかを知っている」という本質的な優位性があります。人生の愛に捨てられるとはどういうことか、親を失うとはどういうことか、学校で最下位になるとはどういうことか、といったことを知っているのです。私たちは機械に対して、この追加的な比較優位を持っています。つまり、対人関係に関わる職業は、人間が実際の優位性を持つ可能性が高いのです。実際、そのような分野へ移る人は今後ますます増えると私は考えています。エグゼクティブ・コーチのような一部の対人専門職は、非常に裕福な個人や企業にサービスを提供しているため、比較的高給です。一方で、ベビーシッターのような仕事は、非常に低賃金です。私たちは子どもを、CEOよりもはるかに大切に思っているはずなのに、です。それでも、子どもの世話をしてもらうために、時給5ドルと冷蔵庫の中の食べ物すべてを支払っています。一方で、脚を骨折すれば、整形外科医に時給5,000ドルと、その医師が冷蔵庫の中で食べたいものすべてを支払って、骨折を治してもらいます。なぜでしょうか。整形外科医はその方法を知っており、ベビーシッターは実際にはそれを知らないからです。中には、良いベビーシッターもいれば、まったくひどいベビーシッターもいます。私と妹が7歳と9歳のころ、そのベビーシッターが私たちにタバコの吸い方を教えようとしたように、です。

ロビン：誰かがやらなければならないのです。

スチュアート：誰かがやらなければならないのです！この未来像が機能するためには、まったく異なる科学の基盤が必要です。人文科学を志向する科学的基盤が必要なのです。どうすればよいのでしょうか。どうすれば他者の人生をより良くできるのでしょうか。ケインズが言う「賢明に、快く、善く生きる能力」を、一人ひとりの子どもが持てるように、その子ども個人の性格や特性、特徴などすべてに合わせて、どう教育すればよいのでしょうか。私たちはそれについてほとんど知りません。また、この未来像を経済的に実行可能なものにするには、科学研究の方向性全体と教育制度を転換する必要があり、それには長い時間がかかるでしょう。もしそれが目指すべき到達点であるなら、できるだけ早く、その旅に備え始める必要があります。そこで、これらのワークショップの目的は、これらの起こりうる到達点を描き、そのうえで現在の政策にどのような意味があるのかを考えることだったのです。

ケイ：そこで、これらの到達点は将来のことを話しているわけですね。占いのようなものかもしれませんが、準備ができるように、汎用AIはいつ頃登場すると予想されるのでしょうか。今から準備が必要だとおっしゃいましたね。

スチュアート：非常に難しい質問だと思います。また、すべてか無かという話でもありません。影響は次第に大きくなっていくでしょう。AIの進歩が一つ進むたびに、こなせるタスクの範囲が大きく広がります。たとえば、私たちは自動運転車に取り組んできましたが、高速道路での自動運転が初めて実証されたのは1987年でした。では、なぜこれほど時間がかかったのでしょうか。主な理由は、システムの知覚能力が不十分だったことです。その一部はハードウェアの問題でもありました。高解像度・高フレームレートの映像を処理するには、膨大な量のハードウェアが必要なのです。しかし、その問題はほぼ解決されました。つまり、視覚認識は今や多くの分野で利用できるようになっています。自動運転車に限らず、農業で働くロボットや、倉庫で商品を取り出すロボットなどについても考えられるようになったのです。その一つだけでも、容易に5億の仕事に影響を及ぼす可能性があります。さらに言語理解の段階に進めば、もう5億の仕事が影響を受けるかもしれません。このように、それぞれの変化が大きな拡大を引き起こすのです。

つまり、これらのことは実際に起こるのです。ただ、汎用AIが到来する正確な日付を特定することはできないでしょう。それは一日で訪れるものではありません。「ああ、今日到来した。昨日まではなかった」というようなものではないのです。ほとんどの専門家は、今世紀末までに汎用AIが実現する可能性が非常に高いと述べています。中央値は2045年頃で、それほど遠い未来ではなく、今から30年足らずです。私はやや保守的な立場です。問題は私たちが考えるより難しいと思います。ただ、私が気に入っているのはジョン・マッカーシー（AIの創始者の一人）が、この質問を受けたときに述べた言葉です。彼はこう答えました。「5年から500年の間のどこかだろう。そして、それを実現するには、アインシュタインのような人物が何人も必要になるだろう」。

ロビン：明るい面を見れば、これらの機械がそれほど優秀になるのなら、「世界的な飢餓を解決せよ、気候変動を解決せよ」と言うだけでよい日が来るのでしょうか。そして機械は動き出し、6か月か、あるいは適切な期間を与えれば、突然、気候変動を解決してしまうのでしょうか。あなたのリース講義の一つでは、実際に気候変動の問題を取り上げていますね。気候変動の一分野、つまり海洋酸性化だけを取り上げていました。そして、気候変動によって引き起こされた海洋酸性化を、機械が解決できるというシナリオを描いていました。しかし、そこには大きな「しかし」があります。AIに特定の仕事を任せたとき、どのような問題が生じるのか、お聞かせいただけますか。

スチュアート：人間に何かを頼むことと、それを目的としてAIシステムに与えることの間には、大きな違いがあります。人間にコーヒーを一杯買ってきてほしいと頼むとき、それが人生の使命であり、宇宙の他のすべてがどうでもよいという意味ではありません。たとえ閉店前にコーヒーを手に入れるために、スターバックスにいる他の全員を殺さなければならないとしてもです。そういう意味ではないはずです。そしてもちろん、私たちが互いに大切にしている他のすべてのことも、その人の行動に反映されるべきです。

しかし、現在のAIシステムの作り方の問題は、固定された目的を与えてしまうことです。アルゴリズムでは、目的のすべてを明示しなければなりません。たとえば、「海洋の酸性化を解決できるか」と尋ねるとします。すると、それを極めて効率的に実現する触媒反応が存在するかもしれませんが、大気中の酸素の4分の1を消費してしまい、その結果、私たちは数時間かけて比較的ゆっくりと、苦しみながら死に至る可能性があるそうです。では、この問題をどう避ければよいのでしょうか。「では、目的の指定にもっと注意すればいい。大気中の酸素を忘れないように」と言うかもしれません。しかし、その反応が海中で、魚をすべて殺してしまう副作用を生むかもしれません。「では、魚も殺さないように」。そして、「海藻はどうするのか。海藻がすべて枯れるようなことはするな」――このように、際限なく続きます。人間に対してこのようなことをする必要がないのは、人間は私たちが大切にしているすべてのことを知らないということを、しばしば理解しているからです。そのため、人間は戻ってきて確認しようとします。たとえば、パリのホテル・ジョルジュ・サンクに居て、コーヒーが一杯13ユーロだったとします。そのとき、人に「コーヒーを一杯買ってきてほしい」と頼んだとすると、戻ってきて「13ユーロですが、本当によろしいですか。隣の店ならもっと安く買えますが」と尋ねるのは、まったく合理的なことです。それは、相手がコーヒーにどれだけの金額を払う意思があるのか、その価格弾力性を知らないかもしれないからです。確認することは、人間にとって極めて普通の行動です。たとえば、「家を塗り直すつもりですが、雨どいを外してから元に戻してもいいですか」と尋ねるようなことです。これは特別に高度な能力だとは考えられていませんが、現在のAIシステムにはそれができません。なぜなら、現在の作り方では、完全な目的を知っていなければならないからです。

また、私の著書『Human Compatible』でケイが言及していましたが、私が最も強調したのは、目的が何か分からないということを知っているシステムを作れば、大気中の酸素をすべて取り除く前に許可を求めるといった振る舞いを示し始める、という点です。それは世界に対する変化であり、アルゴリズムは、それが私たちの好むものか好まないものかを知らないかもしれないからです。そのため、好まれないことをしないように、尋ねるインセンティブが生まれます。その結果、はるかに頑健で制御可能な振る舞いが得られます。極端な場合、機械の電源を切りたいとき、機械は実際に電源を切られたいと思います。なぜなら、私たちを動揺させることをしないように、それを避けたいからです。機械は、自分がどの行動で私たちを動揺させているのかは分かりませんが、それを避けたいと考えます。ですから、私たちが望むなら、機械は私たちに電源を切ってほしいと望みます。このように、あらゆる意味で、AIシステムの制御は、真の目的が何であるかについての機械の不確実性から生まれます。そして、機械が目的を確実に持っていると信じるように作られたとき、サイコパス的な振る舞いが生まれます。同じことは人間にも見られると思います。

ケイ：そして、それは先ほど話していた基本的なアルゴリズム、つまり私たちを過激化の道へ導いている基本的なアルゴリズムの問題に役立つのでしょうか。それとも、汎用AIにしか当てはまらないのでしょうか。

スチュアート：いいえ、それはあらゆる場面に当てはまります。実際、私たちはすでにこの考え方に沿って設計されたアルゴリズムの開発に取り組んでいます。これは正式な数学的問題として設定することができます。私たちはそれを「アシスタンス・ゲーム」と呼んでいます。「ゲーム」とは、ゲーム理論の意味で、複数の主体が関わる意思決定問題を指します。つまり、機械と人間が、人間の目的に関する不確実性によって結び付けられているのです。そして、そのアシスタンス・ゲームを解くことができます。解を導くアルゴリズムを数学的に導出し、その解を見ると、「なるほど、許可を求めている」とか、解のうち人間側が実際に機械に教えようとしていることが分かります。機械が人間の選好を正しく理解し、間違いを避けられるようにしたいからです。

そのため、ソーシャルメディアは、おそらく最も難しい問題です。なぜなら、私たちが好まないことをしているだけでなく、私たちの選好そのものを変えてしまっているからです。これは、人間の選好を満たそうとするあらゆるAIシステムに見られる、いわば故障モードです。人間の選好を満たすことは、非常に合理的なことに聞こえます。しかし、満たす方法の一つは、選好そのものを変えて、すでに満たされているようにすることです。政治家はこれを行うのがかなり得意だと思います。私たちは、AIシステムにそのようなことをさせたくはありません。しかし、これは厄介な問題です。ソーシャルメディアのユーザーが皆、自分自身を嫌っているわけではないからです。そうでしょう？彼らは「どうして私をこんな過激な新ファシストに変えたのか」と言っているわけではありません。彼らは、新たに得た新ファシズムこそが正しいものだと信じており、以前は単に騙されていただけだと考えているのです。そのため、これは現代の道徳哲学におけるもっとも難しい問題のいくつかにつながります。時間とともに選好が変化する人のために、どのように行動すべきでしょうか。現在の人のために行動すべきなのか、将来の人のために行動すべきなのか。どちらでしょうか。その問いに対する良い答えはありません。そして、それは道徳哲学に対する私たちの理解の欠落を示していると思います。その意味で、ソーシャルメディアで起きていることは、本当に解きほぐすのが難しいのです。

しかし、私が勧めたいことの一つは、ソーシャルメディア・プラットフォームの考え方を単純に変えることです。「どうすれば収益を生み出せるか」と考える代わりに、「ユーザーは何を大切に思っているのか。彼らは将来どのようになってほしいと思っているのか。自分自身がどのような人間になりたいと思っているのか」と考えるのです。もしそれが分からなければ――そして、答えは分からない、と私は思いますが――ユーザーは数十億人もいます。彼らはみな異なり、それぞれ異なる選好を持っています。私たちはそれを知りません。そこで、ユーザーの真の選好について当初は非常に不確実であり、かつそれを尊重しながらさらに学んでいくようなシステムを考えるべきです。最も難しいのは、「ユーザーの選好には決して触れてはならない。いかなる状況でもユーザーの選好を変えることは許されない」とは言えないことです。なぜなら、『フィナンシャル・タイムズ』を読むだけで、あなたの選好は変わってしまうからです。情報を得て、より見識が深まり、さまざまな視点を学ぶことで、あなたは異なる人物になるのです。そして、私たちは人々が時間とともに異なる人物へと変わっていくことを望んでいます。私たちは、生まれたばかりの赤ちゃんのままでいることを望んでいるわけではありません。しかし、人を新しい人へと変えるこのプロセスは良いことだ、と言える良い方法は私たちにはありません。大学教育は良いもの、世界旅行は良いものと考えられています。それらは通常、人をより良い人間にしますが、マインドコントロールは悪く、カルトに入ることや、カルトが人に与えるものは悪い、などと考えます。しかし、ソーシャルメディアで起きていることは、まさにこれらの問いにどう答えればよいか分からない地点にあります。そのため、私たちには道徳哲学者や他の思想家の助けが本当に必要なのです。

ロビン：先ほど、機械が私たちのすべての仕事を担うようになれば、人間はこれを磨き、豊かな時代に可能な限り充実した人生を送ることができる、というケインズの言葉を引用されていましたね。しかし、もちろん彼がそれを書いたのは、誰もが空いた時間にソーシャルメディアをスクロールする前のことでした。

スチュアート：興味深い話があります。それはE.M.フォースターが書いた話です。フォースターは通常、英国の上流階級社会やヴィクトリア朝道徳の衰退を題材にした小説を書いていました。しかし、1909年に『機械が止まる』という、ぜひお勧めしたい作品を書いています。そこでは、人々が完全に機械に依存しています。彼らはメールを使い、メールの滞留に悩まされています。ビデオ会議やZoomミーティングも多く行われており、iPadも持っています。

ロビン：E.M.フォースターは、どうしてiPadについて書けたのでしょうか。

スチュアート：まさにそのとおりです。彼はそれをビデオ・ディスクと呼んでいましたが、実際にはまさにiPadです。そして、人々は画面上のメールにいつも釘付けになり、運動をしないため肥満になります。この物語が本当に伝えているのは、文明の管理を機械に委ねてしまえば、文明を自ら理解しようとする動機や、次の世代にそれを理解させる動機を失ってしまう、ということなのです。

そして、『ウォーリー』は、実際には現代版の『機械が止まる』として見ることができます。機械によって誰もが無力化され、子どものように扱われる世界です。自分たちの文明を理解し、運営しようとする意欲を失ってしまうからです。しかしこれまでは、そのようなことは起こり得ませんでした。私たちは文明の多くを書物に残してきましたが、書物が文明を運営してくれるわけではありません。ですから、私たちは常に次の世代に教えなければなりません。計算してみると、それは数万世代にわたって途切れることなく続いてきた、約1兆人年分の教育と学習になります。もしその連鎖が途切れたらどうなるでしょうか。私は、それがこの物語の核心だと考えています。そして、AIが進歩するなかで、私たち自身がそのことを理解しておかなければなりません。

ロビン: 楽観的に見れば、現在の世代は、30年前には手に入らなかった知識と知恵を指先ひとつで得られるようになっています。たとえば、ウィリアム・シェイクスピアの詩を読みたければ、図書館や書店に行く必要はありません。それは目の前にあります。交響曲を聴くことも、ピアノの弾き方を学ぶことも可能です。私より30年若い人たちが羨ましいです。彼らは、その気になりさえすれば、すべての知識にアクセスできますから。ただし、ウォーリーのようにはならないことが条件ですが。

スチュアート: 彼らはウィリアム・シェイクスピアやモーツァルトの名前を聞いたことがないかもしれません。しかし、すべてのビデオゲームの登場人物の名前は言えるでしょう。ですから、これは先ほど話していた教育制度についての議論に戻る話だと思います。たとえケインズの明るい未来像を信じたとしても、それは対人サービスに基づく経済ではなく、人々が幸福に暮らし、自発的な交流が多く、非経済的な仕組みのなかで生きる社会を想定したものでした。それでも彼は、そのような生活を成功させるためには、人々をどう教育すべきかを理解しておく必要があると考えていました。しかし、現在の教育制度はそのようなものではありません。むしろ、人々を様々な経済的機能を果たすように育てることに重きが置かれています。一部の人々が主張するように、その制度は19世紀後半のイギリスの官僚制度のために設計されたものだとも言われています。では、どうすればそれを実現できるのでしょうか。私たちにはその経験があまりないため、それを学んでいかなければなりません。

ケイ: 汎用人工知能を制御するために必要なことについて、いくつかお話しいただきました。そして、それが今日のソーシャルメディアにも当てはまるという話もしました。アシモフアシモフはロボット工学の三原則を提唱しましたが、あなたにも、すべてのAIが私たち人間を優先するようにするための、独自の三原則があるのではないでしょうか。あなたはそれを検証しながら、その実現を望んでいるのだと思います。

ロビン: スチュアート、答える前に、リスナーの皆さんに三原則の内容を改めて紹介させてください。私はちょうど、AIのウィキペディアで確認してきたところです。これはSF作家アイザック・アシモフによるものです。第一原則は、ロボットは人間に危害を加えてはならない。また、何もせず放置することによって人間に危害が及ぶことを許してはならない、というものです。第二原則は、ロボットは、人間から与えられた命令に従わなければならない。ただし、その命令が第一原則に反する場合はこの限りではない、というものです。第三原則は、ロボットは、第一原則および第二原則に反しない限り、自己の存在を守らなければならない、というものです。では、スチュアート、この方向性に沿って、あなたは何を考え出したのでしょうか。

スチュアート: 私は、アシモフへのオマージュとして、三つの原則を考えました。ただし、アシモフのルールは小説の中のものであり、ロボットのアルゴリズムが、何をすべきかを判断するために常に参照している法則のようなものです。私が本の中で示した三つの原則は、AI研究者にとっての指針であり、自分のアルゴリズムが解くべき数学的問題をどのように設定するかの指針だと考えています。

では、三つの原則について説明します。第一の原則は、すべての機械の唯一の目的は、人間の選好を満たすことである、というものです。「選好」は実は経済学の用語です。それは、どんな種類のピザが好きか、誰に投票したかということだけを意味するのではありません。それは、重要なすべてのことについて、考えうるすべての未来をどのように順位づけするか、という意味です。それは非常に大きく、複雑で抽象的なものであり、その大部分は、たとえ説明しようとしても説明しきれないものです。さらに、中には自分でも分からないものもあります。たとえば、私はドリアンを食べたときに好きになるかどうか、本当に分かりません。大好きな人もいれば、ひどく嫌悪する人もいます。私はどちらのタイプの人間なのか分からないので、毎日ドリアンを食べる未来が好きかどうか、はっきり言うことはできません。これが第一の原則です。つまり、機械には人間の選好を満たさせたいのです。ドリアンは、食べてみるまで分かりません。

第二の原則は、機械はそれらの選好が何であるかを知らない、というものです。したがって、機械は人間の選好について当初は不確実性を抱えています。先ほど話したように、この謙虚さこそが、人間による制御を維持することを可能にします。それによって機械は、ある意味で人間に従順になります。

第三の原則は、第一と第二の原則における「選好」の意味を具体的に示すものです。それは、人間の行動が人間の選好に関する証拠の源である、というものです。これは少し詳しく説明できます。基本的なモデルは、人間には未来に関する選好があり、その選好が私たちの選択を生み出している、というものです。ここでいう行動とは、私たちがすること、しないことのすべてを指します。話すこと、話さないこと、座っていること、この講義やインタビューを見ながらメールを読んでいることなどです。こうした原則を数学的な問題に置き換えたものを、「アシスタンス・ゲーム」と呼びます。

そのため、アシモフの原則とは大きく異なる点があります。アシモフの原則の一部は反映されていると考えています。人間に危害が及ばないようにするという考えは、「人間の選好を満たす」と言い換えられるからです。危害は、ある意味で選好の反対です。しかし、アシモフの原則の言葉遣いは、実は1950年代から60年代まで一般的だった考え方を反映しています。それは、不確実性はそれほど重要ではないというものです。だからこそ、「危害を保証しない」と言うことができたのです。しかし考えてみてください。アシモフの第一原則に従う自動運転車は、高速道路で安全を保証することができないため、ガレージから出られないでしょう。他の車がいつでも横から突っ込んできたり、押しつぶしたりする可能性があるからです。したがって、世界に関する不確実性、他の主体がどのように行動するか、そして自分の感覚が世界の状態について完全かつ正確な情報を与えてくれないという事実を考慮に入れなければなりません。世界の至るところに多くの不確実性があります。たとえば、私の車はどこにあるのか。私には車が見えません。私は家に座っていますが、車はどこかにあるはずです。でも、まだそこにあるかどうかは分かりません。今この会話をしている間に、誰かに盗まれたかもしれません。世界のほとんどすべてのことには不確実性があり、意思決定においてはそれを考慮しなければなりません。

第三の法則は、ロボットは、第一と第二の法則に反しない限り、自己の存在を守らなければならない、というものです。しかし、新しい枠組みでは、これはまったく不要です。ロボットが人間にとって有用であれば、言い換えれば、人間の選好を満たすために少しでも役立っているのであれば、それこそがロボットが存続すべき理由になります。そうでなければ、存続する理由はありません。ロボットが私たちにとってまったく役に立たない場合、あるいはその存続が私たちに害を及ぼす場合には、ロボットは当然、自ら消えるべきです。

映画『インターステラー』をご覧になったことがあれば、この作品はAIの視点から見ると、AIが人間とどのように協働すべきかについて、最も正確で合理的に描かれた作品の一つだと思います。ロボットのTARSは、自分の質量がブラックホールに何らかの問題を引き起こしていると判断し、「分かった、人間が脱出できるように、自分がブラックホールに飛び込もう」と言って自ら犠牲になります。TARSは完全に満足しているのに、人間たちは動揺し、「だめだ、だめだ、だめだ」と言います。それは、おそらく彼らがアシモフの教えを受けて育ったからでしょう。実は、これは完全に合理的な行動だと理解すべきです。

ケイ: このポッドキャストに出演していただくことで、私たちが最も強く願っているのは、リスナーの皆さんがAIについてより正しく理解できるようになることです。メディアなどで目にするAIに関する誤解は非常に多いからです。あなたは、権威あるBBCのリース講義を行ったばかりで、その活動を通じて多くの人々に影響を与えています。難しいことは承知していますが、リスナーの皆さんに、AIについて最も重要な点として持ち帰ってほしいことは何でしょうか。

スチュアート: ビジネスの文書でよく言われるように、ここで伝えたいポイントは常に3つあります。第一のポイントは、AIは技術であり、本質的に善でも悪でもないということです。その判断は私たちにかかっています。うまく活用することもできますし、悪用することもできます。設計の不十分なAIシステム、特に誤って定義された目的を追求するシステムには、リスクがあります。

私は、AIシステムに限らず、アルゴリズム全般に対して、あまりにも長い間、特例的な扱いを与えてきたと考えています。かつて医薬品に特例を認めていた時代がありました。当時はFDAやその他の医薬品規制機関がなく、粗悪に製造された薬や偽薬などによって、何十万人もの人々が死傷しました。やがて約一世紀をかけて、医薬品の規制制度を構築しました。確かにコストはかかりますが、多くの人々はそれがあってよかったと考えています。アルゴリズムに対しては、そのような仕組みはほとんど存在しません。医薬品以上に、これらのアルゴリズムは世界の数十億人に大きな影響を与えているにもかかわらず、それが必ずしも良い影響だと考えるのは妥当ではないと思います。各国政府もようやくこの問題に気づき始め、規制しすぎて物事を混乱させないように、どのように規制すべきかに苦心しています。

第二のポイントです。ディストピア的な結末について多く話してきましたが、AIがもたらす可能性は非常に大きいのです。ケインズの話に戻ると、確かにAIは、人類の歴史全体を特徴づけてきた生存のための闘争から解放され、賢明で、快適で、充実した生活を送ることを可能にするかもしれません。

これまで私たちには選択肢がありませんでした。ベッドから起きなければ、飢えて死んでしまいます。しかし将来は、選択肢が生まれます。私たちがただベッドにとどまることを選ばないように願っていますが、豊かで、興味深く、充実した生活を送るために、ベッドから起きる別の理由を持つことになるでしょう。ケインズは、それを考え、予測し、期待していましたが、それは自動的に実現するものではありません。この黄金時代が訪れたとしても、さまざまなディストピア的な結末が起こり得るのです。

そして第三のポイントです。映画が何を描いていようと、機械が意識を持ち、人間を憎んで殺そうとするようになる、というのは現実的な話ではありません。

すべてのポッドキャストは こちらからご覧いただけます。

購読: Radio Davos; Meet the Leader; Book Club; Agenda Dialogues。

参加はこちら: World Economic Forum Podcast Club (Facebook)