AIの可能性と危険性 ― Radio Davosで語るスチュアート・ラッセル

undefined
このページは、生成AIにより自動翻訳されています。

この文字起こしは音声認識ソフトを使用して作成されており、誤りが含まれている可能性があります。音声を聞いて正確性をご確認ください。

ケイ・ファース=バターフィールド:スチュアートをご紹介できることをうれしく思います。彼は人工知能について2冊の本を書いています。ひとつはHuman Compatible: Artificial Intelligence and the Problem of Controlです。そして、「人工知能についての本を文字どおり書いた」とあなたが評したのは、おそらくArtificial Intelligence: A Modern Approachのことでしょう。世界中の大半の学生が、この本でAIを学んでいます。スチュアートと私は2014年、英国で彼が行った、致死性自律兵器への懸念についての講演で初めて会いました。今日はその話をしませんが、彼は国連でそうした兵器の禁止に向けて休むことなく取り組んできました。スチュアートは世界経済フォーラムとも幅広く協力してきました。2016年には、世界経済フォーラムのAI・ロボティクスに関するグローバルAIカウンシルの共同議長に就任しました。そして2018年には、私たちのグローバルAIカウンシルに加わりました。カウンシルの一員として、AIによる望ましい未来を実現するために、今から計画を立て、政策を策定し、その未来への道筋を描く方法を私たちに考えさせてくれました。

ロビン・ポメロイ:スチュアート、Zoomで画面越しにご一緒しています。お会いできてうれしいです。

スチュアート・ラッセル:お招きいただき、ありがとうございます。ケイとご一緒できて本当にうれしいです。

ロビン:今、世界のどちらにいらっしゃいますか。

スチュアート:カリフォルニア州バークレーにいます。

ロビン:そこで教授をされていますね。BBCラジオ4とワールドサービスで、あなたのリース講義を聞いています。数週間前にはそうではありませんでしたが、今では専門家になった気分です。では、まず本当に初歩から始めましょう。人工知能について漠然としか知らない人にとって、コンピューターやアプリは身近です。そのうちどれくらいが人工知能なのでしょうか。また、今あるものを超えて、AIは将来私たちをどこへ連れていくのでしょうか。

スチュアート:実のところ、ここからここまでがAIで、こちらはAIではない、と明確に線を引くのは驚くほど難しいことです。AIの分野では、私たちが議論する対象を「エージェント」と呼びます。これは、知覚した情報に基づいて行動するものを意味します。知覚はカメラやキーボードを通じて行われるかもしれません。行動には、画面に何かを表示すること、自動運転車のハンドルを切ること、戦車から砲弾を発射することなど、さまざまなものがあります。AIの目標は、そこで生み出される行動が適切なもの、つまりエージェントに設定した目的を実際に達成できるものになるようにすることです。これは、経済学や哲学で長く使われてきた「合理的エージェント」という概念に対応します。つまり、行動によって目的を達成できると期待されるエージェントです。

私たちが目指しているのは、そういうものです。エージェントは非常に単純なものでもありえます。サーモスタットもエージェントです。知覚機能として温度を測り、行動として暖房をオンまたはオフにします。そして、とても単純なルールが2つあります。暑すぎればオフにする。寒すぎればオンにする。これがAIでしょうか。そう呼ぶかどうかは、実際にはさほど重要ではありません。ルールが17個ならAIで、16個ならAIではない、といった明確な境界線はありません。それでは筋が通らないでしょう。ですから私たちは、人間のような非常に複雑なエージェントから、極めて単純なエージェントまで、連続したものとして捉えています。

AIシステムは今や経済のあらゆるところにあります。検索エンジンもAIシステムです。もはや単なるキーワード検索システムではなく、検索語の意味を理解しようとしています。検索エンジンに入力されるクエリーの約3分の1は、答えが見つかるウェブページを表示するのではなく、知識ベースによって回答されています。機械可読形式で多くの知識を持っているため、実際に答えを教えてくれるのです。

スマートスピーカーや携帯電話のデジタルアシスタントも、すべてAIシステムです。機械翻訳もそうです。私はフランスで税金を払わなければならないので、よく使っています。理解しがたいフランスの税法を、理解しがたい英語の税法に訳すのがとても上手です。私の役にはあまり立ちませんが、翻訳としては優秀です。そして自動運転車は、AIの代表的な応用例と言えるでしょう。知覚し、状況を理解し、運転中に起こりうる多くの事態やリスクを考慮した複雑な意思決定を行う能力など、さまざまな要素が求められます。そしてもちろん、その最上位にいるのが人間です。

ロビン:将来のある時点で、機械やAIは人間にできることをすべて、人間よりうまくできるようになるのでしょうか。私たちはそこへ向かっているのでしょうか。

スチュアート:そうです。それが常に目標でした。私が「汎用AI」と呼ぶものです。「人間レベルのAI」「超知能AI」「汎用人工知能」など、ほかの呼び方もあります。しかし、「超知能AI」より少し脅威を感じさせないので、「汎用AI」に落ち着きました。おっしゃるとおり、人間が知性を使ってできるどんな課題でも、すでに実行できるか、すぐに学んで人間と同等かそれ以上にこなせるAIシステムを意味します。特定の課題で人間のレベルに達すれば、そこから人間を超えるのはそれほど難しくないと、多くの人が理解していると思います。計算能力や速度、帯域幅、そして記憶から膨大な量の情報を保存・検索する能力において、機械は人間の脳が到底かなわないほど大きな優位性を持っています。

ロビン:ケイ、あとはお願いします。私は少し後ろに下がります。よければ共同司会者として参加します。私も質問が山ほどあって、うるさく口を挟むでしょうが。とにかく、ここからのインタビューはすべてお任せします。

ケイ:ありがとうございます。スチュアート、私たちが日々接しているAIの例をいくつかお話しいただきました。AIが最も幼い人から最も年長の人まで、毎日使われている場のひとつがソーシャルメディアです。ソーシャルメディアを通じた過激化について、よく耳にします。実際、先日参加した会議で、フランスのIT担当大臣セドリック・Oは、AIを現時点で民主主義にとって最大の脅威だと表現しました。現在のAIの利用が、どのように考え方の二極化を促しているのか、リスナーに説明していただけますか。

スチュアート:これは非常に重要な問いだと思います。答えるうえで問題なのは、実際には答えが分からないことです。事実はソーシャルメディア企業の金庫の中に隠されています。基本的には、週に何兆件もの出来事です。何兆件です!何十億人もの人々が一日に何百回もソーシャルメディアを利用し、その一つひとつの操作、つまりクリック、スワイプ、閉じる、いいね、よくないね、賛成、反対など、あらゆるデータにアクセスできません。たとえば、この状況を監視するために設けられたはずのFacebookの監督委員会でさえ、アクセスできないのです。しかし、委員会は内部データを閲覧できません。

逸話的な証拠はいくらかありますし、分析を行えるデータセットもいくつかあり、そこから示唆は得られますが、決定的ではありません。ただ、アルゴリズムの仕組みを考えると、目指しているのはクリック率の最大化です。利用者に何かをクリックさせ、コンテンツに関与させたり、プラットフォームで過ごす時間を増やしたりしたいのです。これは少し異なる指標ですが、基本的には同じことです。

「人々にクリックさせるには、関心のあるものを送るしかない。何が問題なのか」と言うかもしれません。しかし、それが答えではありません。クリック率を最大化する方法はそうではありません。実際にクリック率を最大化するのは、将来送るコンテンツをよりクリックしやすくなるよう、人々を別の人物へと変えていくコンテンツの連鎖を送ることです。

私たちが構築した数学的モデルによれば、アルゴリズムは人々を操り、変化させることを学習しています。そうすることで、将来、より影響を受けやすくなり、より高い割合で収益化できるのです。

もちろん同時に、この仕組みを支える大規模な人間主導の産業も生まれています。クリックベイト産業や偽情報産業です。人々は、アルゴリズムが人を急速に変化させる能力を乗っ取りました。一日に何百回もやりとりがあり、そのたびに小さな後押しが加わるからです。しかし何日も続けて一日に何百回も後押しすれば、信念や好み、意見を大きく変えられます。アルゴリズムは、あなたがどんな意見を持っているかには関心がありません。自分たちが送るものにあなたが影響されやすいかだけを気にします。しかし人々は関心を持ち、その仕組みを乗っ取って利用し、自分たちの目的に合う二極化を生み出しました。ですから、実態をもっと明らかにすることが不可欠だと思います。AI研究者はこの仕組みを理解し、修正できるか確かめたいので、可視化を求めています。政府もそれを求めています。社会構造全体が崩壊しつつあるのではないか、あるいは自国の利益を考えていない他国に弱体化させられているのではないかと、本当に危惧しているからです。

ロビン:スチュアート、これはアルゴリズムの副作用なのか、それとも人間がある時点で二極化をアルゴリズムに組み込んだのか、分かっているのでしょうか。

スチュアート:副作用だと思います。ソーシャルメディア・プラットフォームが意図していたわけではないと、ある程度は好意的に考えたいです。ただ、分かっていることのひとつは、アルゴリズムが企業に大きな収益と利益をもたらすという意味でうまく機能すると、変更しないようにという強い圧力が生じることです。意識的か無意識的かにかかわらず、アルゴリズムはある意味で、何十億ドルもの収益を生み出し、その恩恵を受け、その収益の流れを守ろうとする多国籍の巨大な仕組みによって保護されているのです。

ケイ:スチュアート、私たちを「操る」という言葉を使いましたが、アルゴリズムには関心がないとも言いました。アルゴリズムのひとつがどんなものなのか、説明していただけますか。人間について何も知らないから、関心もないということでしょうか。

スチュアート:そのとおりです。アルゴリズムは人間が存在することすら知りません。アルゴリズムから見れば、一人ひとりは単なるクリック履歴です。何が表示され、それをクリックしたのか、しなかったのか。直近の100回、あるいは1,000回のやりとりが、その人を表します。するとアルゴリズムは、「この1,000回のやりとりをもとに、次に何を送るかどう選べばよいか」を学習します。これを「ポリシー」と呼びます。やりとりの履歴を踏まえて次に送るものを決めるのです。そのポリシーは、長期的なクリック率を最大化するよう時間をかけて学習されます。つまり、次にクリックしてもらえる最善のものを選ぼうとしているだけではありません。アルゴリズムの設計上、長期的に最善の結果をもたらすものを選ぶのです。

たとえば、ここからサンフランシスコへ行きたいとします。長期的な計画を立て、それを実行し始めます。椅子から立ち上がり、そのあと別の行動をする、といった計画です。アルゴリズムも同じような旅に出て、人々がより予測しやすくなる目的地への行き方を学習しました。収益を最大化するうえでアルゴリズムが重視するのは、その予測可能性です。アルゴリズムが意識を持つことはありませんし、人々を過激化させたり、テロリストにしたりする明確な目的を持って意図的にやっているわけでもありません。しかし、人間の存在や心、特有の心理、さまざまな影響の受けやすさをはるかによく理解する将来のアルゴリズムは、もっと効果的になりえます。最初は逆説的に感じられるかもしれませんが、AIの性能が高くなるほど、結果が悪くなることがあります。

ケイ:アルゴリズムが学習するという話がありました。かなり多くの人がよく理解していない点だと思います。ソフトウェアは長年使ってきましたが、これは少し違いますね。

スチュアート:実際、私たちが使ってきたソフトウェアの多くは、学習プロセスを経て作られています。たとえば音声認識システムです。「cat」と「cut」をどう区別するかというルールを、誰かが入力しているわけではありません。「cat」の例をたくさん、「cut」の例もたくさんアルゴリズムに与えると、回路にある調整可能な重み、あるいは接続の強さと考えられるパラメーターを調整することで、区別するルールを学習します。回路の重みを調整すると出力が変わり、「cat」と「cut」を区別する能力が向上し始めます。そして、学習データ、つまりラベル付きの例である「cat」と「cut」に合うように重みを調整します。重みを調整するプロセスが進むにつれて、最終的には学習データに対して完璧か、それに近い性能を発揮します。新しい「cat」や「cut」の例が現れたときにも、正しく分類できることを期待します。音声認識システムはこのように訓練されており、これは何十年も続いています。今では少し進歩して、音声認識システムはより正確で、ずっと頑健になりました。車を運転中や、雑音の多い携帯電話回線で話しているときでも、あなたの言葉を理解できます。今では音声を十分に理解できるのです。

たとえば音声認識ソフト、つまり音声入力ソフトを買うと、購入後の学習段階と呼べるものが設けられていることがあります。最初からかなり優秀ですが、あなたの声で訓練することで、さらに性能が向上します。いくつかの文章を読み上げるよう求められ、そこで得られる追加データによって、あなたの声をさらに正確に認識できるようになります。

ソーシャルメディアのアルゴリズムで起きていることも、これと似たもの、つまり購入後のカスタマイズと考えられます。あなたについて学習しているのです。最初は、一般の人々に関心を持たれている記事を勧めます。私が見る限り、それはキム・カーダシアンのようです。しかし、しばらくあなたとやりとりすると、「いや、むしろクリケットのスコアが知りたいのだな」と学習します。

ケイ:顔認識も同じでしょうか。顔認識について、また、有色人種に対して誤認識が起きる可能性についてよく耳にします。データに問題があるからでしょうか。

スチュアート:通常、データが間違っているからではありません。その場合は、特定の人々の例がデータに非常に少ないことが原因です。例が少なければ、その集団での精度は下がります。これは非常に議論の多い問題で、より代表性の高いデータセットを作れば認識率の格差をなくせるのかどうか、議論に関わるさまざまな立場の人々の間で合意を得るのはかなり難しいのが実情です。もちろん、完璧に代表的なデータセットというものはありません。ナミビア、日本、アイスランド、モンゴルのどこにいるかによって、何が完璧に代表的なデータセットかは異なるからです。この4つの環境すべてに、まったく同じデータを使うのが適切とは限りません。こうした問題は、技術的というより「社会技術的」なものになっていきます。重要なのは、AIシステムを特定の状況に導入し、しばらく運用したときに何が起きるかです。さまざまなことが起こります。たとえば、人々がカメラのある場所を避け始めるかもしれませんが、避けるのは特定の種類の人だけで、ほかの人は気にしないかもしれません。するとデータ収集に新たな偏りが生まれますが、誰がカメラのある場所を避けるかは予測できないため、その偏りを理解するのは非常に困難です。AIシステムが社会技術的に組み込まれることでどんな影響が生じるのか、社会がシステムやその運用にどう影響するのかを理解するための、確かな工学分野や科学的な手法はまだありません。その結果、私たち全員の状況はよくなるのでしょうか。それとも悪くなるのでしょうか。初期の事例からは、私たちがこうした問題を考え慣れていないため、予想もしない奇妙な形で物事がうまくいかなくなることがあると分かってきています。

都市計画の分野では、奇妙なことが起きると、何世紀にもわたって学んできました。道路を広げれば交通の流れがよくなると思っても、道路を大きくしたことで交通の流れが悪化することがあります。川に橋を架けるべきかという問題も同じです。影響をよく考えることを学んできました。通りを歩行者専用にすればよいと思っても、交通が別の場所に移り、隣の地区の状況が悪化するかもしれません。複雑なことがいろいろ起こりますが、私たちはようやくその探究を始めたところで、まだ確立された専門分野はありません。AIシステムと、その社会技術的な組み込み方を扱う都市計画に相当する分野は、まだ存在しないのです。

ケイ:2019年だったと思いますが、スチュアートは私に提案を持ちかけました。人間にとってのAI、特に先ほどロビンと話していた汎用AIの恩恵を最大限にするには、私たちが使っている政治・社会制度を見直す必要があるというものでした。人々を部屋に集めることになり、参加者は経済学者とSF作家に絞る予定でした。新型コロナウイルスの流行で実現しませんでしたが、とても刺激的なワークショップができました。なぜそれが重要だと考えたのか、そこからどんなアイデアが生まれたのか、少しお話しいただけますか。

スチュアート:視聴者の皆さんに念のためお伝えすると、本当に人々を部屋に閉じ込めようとしていたわけではありません。比喩的な意味です。懸念、あるいは問いは、汎用AIが現実の経済に登場すると何が起きるのか、ということでした。状況はどう変化するのか。そして、大きな混乱を起こさずに適応できるのか。これは非常に古くからある論点です。驚くべきことに、アリストテレスでさえ、完全自動化された機織り機や、人間がいなくても竪琴を奏でて音楽を生み出す完全自動化された撥があれば、働き手は必要なくなる、と述べた一節があります。紀元前350年のことを考えると、実に驚くべき指摘です。

1930年にケインズが「技術的失業」と呼んだその考えは、人々にも非常によく分かります。「機械が仕事をするなら、自分は失業する」と考えるわけです。ラッダイトもそれを懸念しました。経済学者たちは長い間、技術的失業は起こりえないことを数学的に証明したと考えていました。しかし考えてみてください。技術によって地球上の全員の分身を作れ、その分身はもっと陽気で二日酔いも少なく、無給で働いてくれるとしたら、今の仕事を続けられる人はどれだけいるでしょうか。答えはゼロだと思います。経済学者の数学的定理には、どこか問題があります。

この10年ほどで、経済学界の見解は大きく変わりました。実際、私が初めて参加したダボス会議は2015年でした。そこでは「新しいデジタル経済」について話し合うという夕食会がありました。しかし、何人ものノーベル賞受賞者や、ほかの著名な経済学者たちが次々に立ち上がって、こう言ったのです。「実は、デジタル経済の話はしたくありません。AIと技術的失業について話したいのです。少なくとも経済の観点から見て、これは世界が直面する最大の問題です」。彼らの見方では、汎用AIが現実味を増すにつれ――現時点では、まだ実現に近いとは言えませんが――人間が仕事で行う課題を、ますます多く実行できるAIシステムが登場することになります。

例を一つ挙げると、Amazonなどの企業が現在、電子商取引向けに運営している倉庫を考えてみてください。そこでは作業の半分が自動化されています。仕組みとしては、あちこちに大量の商品が積み上がった昔ながらの倉庫で、人間があちこち探し回って商品を見つけ、持ち帰って発送する代わりに、必要な品物が入った棚ユニットをロボットが取りに行き、人間の作業員のところまで運んできます。つまり、人間の作業員は一か所に立ったままで、ロボットが商品を載せた棚ユニットを集めて運んでくるのです。ただ、箱や棚から品物を取り出すのは、まだ難しすぎるため、人間が行わなければなりません。

世界には、そうした仕事に就いている人が、たとえば300万~400万人います。一方でAmazonは、箱から品物を取り出すロボットのコンテストを開催していました。つまり、購入できる品物は実に多種多様ですが、棚や箱などからほぼどんな品物でも十分正確に取り出し、発送部門へ送れるロボットを作れるか、という競技です。それが実現すれば、一挙に300万~400万人分の仕事がなくなります。そして、そのための仕組みはすでに整っています。すべてを組み替える必要はなく、人間がいた場所にロボットを置くだけでよいのです。

自動運転車を心配する人もいます。自動運転が現実になれば、自動運転タクシーの料金は通常のタクシーの4分の1程度になるかもしれません。そうなるとどうなるか、想像できるでしょう。世界には、正規・非正規を合わせて約2,500万人のタクシー運転手がいると思います。影響はさらに大きいでしょう。そしてもちろん、新たな能力が加わるたびに、こうした変化は続きます。自動化される仕事が増えるのです。人々が担う別の仕事を見つけ、それを知らない人たちに新しい仕事の訓練をするという変化の速さに、私たちはついていけるでしょうか。「全員をデータサイエンティストに再訓練すればいい」と言うのは簡単です。しかし第一に、25億人ものデータサイエンティストは必要ありません。250万人でも必要かどうか分かりません。全体からすれば、ほんのわずかです。

でも、ほかの仕事については、そうですね、高齢者介護を担える人はもっと必要です。ただ、25年間トラック運転手をしていた人を高齢者介護の仕事に就けるよう訓練するのは、簡単ではありません。幼い子どもの家庭教師もそうです。私たちの世界には、満たされていないニーズがほかにも数多くあります。ほとんど誰もが分かっていることだと思います。満たされていないニーズがあるのです。機械がその一部を満たせるかもしれませんが、人間が応えるには、その仕事をするための訓練を受け、知識と適性、さらには意欲を持つ必要があります。

そこで私たちが問いかけたのは、こういうことです。このプロセスが続き、汎用AIが、現在私たちが仕事と呼んでいるもののほとんどを担うようになったら、世界はどのようになるでしょうか。あるいは、子どもたちに生きてほしいと思える世界とは、どのようなものでしょうか。SFを見ると、かなり望ましく思える世界のモデルがあります。しかし、経済としては成り立ちません。経済学者は、「その世界ではインセンティブが機能しない。こちらの人々はその仕事をやめ、あちらの人々は代わりに別のことをするようになり、結局、安定しない」と言います。経済学者は、何かを発明するわけではありませんよね。税率を上げるとか、金利を下げるとか、そういう話をするだけです。ダボスで話をしていた経済学者たちは皆、「民間の失業保険があってもよいかもしれない」と言っていました。そうですか、それで問題が本当に解決するんですね!そこで私は、この二つのグループを一緒にして、想像力に現実の経済への理解を加えたいと思ったのです。

Robin: 経済学者とSF作家のうち、誰が楽観的で誰が悲観的だったのか気になります。SF作家は、ディストピアや、物事がひどく悪い方向へ進む話が好きだろうと思います。でもその裏返しとして、現実の世界でいつも物事がうまくいっていないのを目の当たりにしている経済学者より、かえって楽観的な見方をしているのではないでしょうか。どちらかの傾向に気づきましたか?

Stuart: おっしゃるとおり、SF作家はディストピアが好きです。でも経済学者の大半は悲観的です。少なくとも、夕食会にいた人たちは確実にそうでしたし、こうしたワークショップで多くの人と話をしてきました。多くの経済学者は、相殺効果があると今も考えていると思います。機械が仕事Xをするなら人間は仕事Xをしなくなり、失業する、というほど単純ではないということです。相殺効果があります。機械が何かをより安く、効率的に、生産的に行えば、全体の富が増え、それによって経済のほかの仕事への需要も増えます。その結果、自動化されつつある分野から、まだ自動化されていない分野へ、労働力が移っていくような循環が生まれます。しかし、すべてを自動化したらどうなるか。それは双子の議論です。無償で働くことをいとわない、自分の双子を誰もが持つようなものです。ですから、私たちが自動化しない分野があるのかを考えなければなりません。自動化したくないからなのか、人間のほうが本質的に優れているからなのか。これは楽観的な見方の一つだと思いますし、ケインズもそう考えていたと言えるでしょう。彼はそれを「人生の技を磨くこと」と呼びました。私たちは、人間の恒久的な課題、つまり、いかに楽しく、賢く、よく生きるかという課題に直面します。そして人生の技をよりよく磨く人々が、この未来で大きな成功を収めるでしょう。

人生の技を磨くことは、人間には理解できます。私たちは人生とは何かを理解していますし、互いによく似ているので、相手のためにそれを実践できます。神経系が同じだからです。よく例に出すのが、ハンマーで親指を打つことです。経験があれば、どんな感じか分かるので、同じ目に遭った人に共感できます。

ハンマーで親指を打ったときの感覚を知るのに、神経科学の博士号は必要ありません。経験がないなら、試しにやってみればいい。そうすれば、どんな感じか分かりますよね。つまり、どんな感じかを知るという点で、私たちには本質的な優位性があります。人生で最も愛した人に裏切られるとはどういうことか、親を亡くすとはどういうことか、学校で成績が最下位になるとはどういうことかなどを知っています。こうして、機械に対してもう一つ、比較優位を持っています。そのため、人と人との関わりを中心とする職業では、人間が本当の強みを持つ可能性があります。実際、そうした分野に進む人はますます増えると思います。エグゼクティブコーチのように、人と関わる職業の中には、非常に裕福な人や企業にサービスを提供するため、比較的高収入のものもあります。一方、ベビーシッターのように、極端に低賃金の仕事もあります。私たちはCEOよりも子どものことを大切にしているはずなのに、です。それでも子どもの世話をしてもらうのに、時給5ドルと、冷蔵庫にあるものを何でも食べてよいという条件で人を雇う一方、脚を骨折すると、整形外科医に脚を治してもらうために時給5,000ドルと、冷蔵庫にあるものを何でも食べてよいという条件を払います。なぜでしょうか。医師には治療の仕方が分かっていますが、ベビーシッターには本当のところ分かっていないからです。上手な人もいれば、ひどく下手な人もいます。私のベビーシッターは、私が7歳、姉が9歳のときに、私たちにたばこの吸い方を教えた、あるいは教えようとしたほどです。

Robin: 誰かがやらなければなりませんからね。

Stuart: 誰かがやらなければなりません!この未来像を実現するには、科学の基盤をすっかり変える必要があります。人間科学を中心とする科学の基盤が必要です。どうすれば、ほかの人の人生をよりよくできるでしょうか。ケインズの言葉を借りれば、賢く、楽しく、よく生きる力を身につけられるよう、個々の性格や特性、資質などを持つ一人ひとりの子どもを、どう教育すればよいでしょうか。私たちはそのことをほとんど知りません。科学研究の方向性も教育制度も根本から変えて、この未来像を経済的に実現可能なものにするには、長い時間がかかります。それが目指す先なら、旅の準備は早く始めるべきです。こうしたワークショップの目的は、実現し得る未来像を描き、現在の政策にどのような影響があるかを考えることでした。

Kay: では、そうした未来像は、将来の話ですね。先のことを占うような話かもしれませんが、汎用AIはいつごろ登場すると見込めばよいでしょうか。備えておくために。今から準備が必要だとおっしゃっていますね。

Stuart: これは答えるのがとても難しい質問だと思います。それに、すべてかゼロかという話ではありません。影響は徐々に大きくなっていきます。AIが進歩するたびに、こなせる仕事の範囲が大きく広がります。たとえば、自動運転車の研究を続けていますが、高速道路での走行が初めて実証されたのは1987年でした。なぜこれほど時間がかかったのでしょうか。主な理由は、システムの知覚能力が不十分だったことです。その一部は、単にハードウェアの問題でした。高解像度でフレームレートの高い動画を処理するには、膨大な量のハードウェアが必要でした。その問題は大部分が解決しました。視覚による認識が可能になったことで、自動運転車だけでなく、農業で働くロボットや、倉庫で部品を選び出すロボットなども考えられるようになりました。こうした一つの進歩だけでも、5億人分の仕事に影響を及ぼす可能性が十分にあります。そして言語理解が実現すれば、さらに5億人分の仕事が影響を受けるかもしれません。こうした変化が起こるたびに、対象範囲が大きく広がるのです。

こうしたことは起こります。汎用AIが実現する正確な時期を特定することはできません。「今日、実現した。昨日まではなかった」という特定の一日があるわけではないのです。専門家の大半は、今世紀末までには汎用AIが実現している可能性が非常に高いと言っています。中央値は2045年ごろで、それほど先ではありません。今から30年もありません。私はもう少し慎重な見方をしています。問題は私たちが考えるより難しいと思うからです。ただ、AIの創始者の一人であるジョン・マッカーシーがこの質問を受けたときの答えは気に入っています。「まあ、5年から500年の間でしょう」と言ったのです。実現には、アインシュタイン級の人物が何人も必要になると思います。

Robin: 明るい面を考えると、こうした機械が非常に優秀になるのなら、いつか「世界の飢餓を解決して」「気候変動を解決して」と頼める日が来るでしょうか。そして機械が出かけていき、6か月とか、妥当な期間を設定すれば、気候変動を解決してくれる。リース講演では、気候変動の問題を取り上げていましたね。気候変動の中でも、海洋酸性化という一つの問題に絞っていました。気候変動が引き起こした海洋酸性化を機械が解決できるというシナリオを描いていましたが、そこには大きな「ただし」があります。AIに特定の仕事を任せるとき、どんな問題が起こるのか、教えていただけますか?

Stuart: 人間に何かを頼むことと、それをAIシステムの目標として与えることには、大きな違いがあります。人間にコーヒーを一杯持ってきてと頼んでも、それを人生の使命にして、宇宙のほかのことは何も重要ではないという意味ではありません。店が閉まる前にコーヒーを持ってくるためなら、スターバックスにいる全員を殺してもよいということでもありません。そんな意味ではないですよね。もちろん、私たちが互いに大切にしているほかのあらゆることも、その人の行動に反映されるべきです。

現在のAIシステムの作り方の問題は、固定された目標を与えることです。アルゴリズムに目標を指定する際は、あらゆることを明示する必要があります。「海洋酸性化を解決できるか」と言えば、それを極めて効率的に行う触媒反応を起こせるかもしれませんが、大気中の酸素を4分の1消費してしまう可能性があります。そうなると、どうやら私たちは数時間かけて、かなりゆっくりと、しかも不快な形で死ぬことになります。では、どうすればこの問題を避けられるでしょうか。目標をもっと注意深く指定すればいい、と言うかもしれません。大気中の酸素を忘れないように、と。すると今度は、海洋での反応の副作用で魚がすべて毒されるかもしれません。それなら魚も殺さないで、と言う。では海藻はどうか。海藻がすべて死ぬようなこともしないで、と。こうして際限なく続きます。人間にこれをしなくてよいのは、自分たちが大切にしていることをすべて把握しているわけではないと、人間はよく分かっているからです。ですから、確認しに戻ってくる可能性があります。たとえば、ホテル・ジョルジュ・サンクにいるときにコーヒーを買ってきてと頼んだとします。そこのコーヒーは確か一杯13ユーロです。「一杯13ユーロです。本当にいいですか?隣へ行けば、ずっと安く買えますよ」と戻ってきて確認するのは、まったくもっともなことです。相手がコーヒーにどれくらいの金額を払うつもりか、分からないからです。それを尋ねるのは、人間にとってごく普通の行動です。「家を塗り直しますが、雨どいを外してから戻してもよいですか」と尋ねるのも同じです。こうした能力を特別に高度なものだとは考えませんが、AIシステムにはありません。現在の作り方では、目標のすべてを把握していなければならないからです。

Kayが紹介した私の著書Human Compatibleの主な論点は、目標が何かを自分では分かっていないと認識するシステムを作れば、大気中の酸素をすべて失わせる前に許可を求めるような行動を示し始める、ということです。世界に変化をもたらすとき、それを私たちが望んでいるのか、望んでいないのか、アルゴリズムには分からないかもしれません。そのため、望まれていないことを避けようとして、確認するインセンティブが働きます。こうすると、はるかに堅牢で制御しやすい行動になります。極端な場合、機械の電源を切ろうとすれば、機械は実際に電源を切られたがります。私たちを困らせている行動を避けたいからです。それがどの行動なのかは分からなくても、とにかく避けたい。だから、私たちが望むなら、電源を切ってほしいと思います。こうした意味で、AIシステムを制御できるのは、真の目標が何かについて機械が不確実性を持つからです。目標が何かを確信している機械を作ると、精神病質的な行動が生じます。人間にも同じことが見られると思います。

Kay: それは、以前話題にした、過激化への道をたどらせている基本的なアルゴリズムにも役立つのでしょうか。それとも汎用AIにしか当てはまりませんか?

Stuart: いいえ、あらゆる分野に当てはまります。私たちは実際、この考え方に沿って設計されたアルゴリズムを構築してきました。これを数学的な問題として定式化することもできます。私たちはこれを「支援ゲーム」と呼んでいます。ここでの「ゲーム」とはゲーム理論の意味で、複数の主体が関わる意思決定問題を指します。人間の目標に関する不確実性を通じて、機械と人間が実際につながっています。そうした支援ゲームを解くことができます。解を導くアルゴリズムを数学的に導出し、その解を見ることができます。すると、「なるほど、許可を求めた」とか、「解の中の人間側は、機械が人間の好みを確実に理解し、間違いを避けられるように、機械に教えようとしている」と分かります。

ソーシャルメディアについては、おそらく最も難しい問題です。私たちが好まないことをしているだけでなく、私たちの好み自体を変えているからです。人間の好みを満たそうとするAIシステムにとって、これは失敗の形の一つと言えるでしょう。人間の好みを満たすのは、とても合理的なことに聞こえます。その一つの方法は、好みを変えて、すでに満たされている状態にすることです。政治家はこれがかなり得意だと思います。しかし、AIシステムにはそうしてほしくありません。とはいえ、これは厄介な問題です。ソーシャルメディアの利用者全員が自分自身を嫌っているわけではありません。利用者は「私をこんな狂信的なネオファシストに変えるとは、なんてことをしたんだ」と言っているわけではありません。新たに持つようになったネオファシズムこそ正しいと信じ、それまでは自分が惑わされていたと思っているのです。ここから、道徳哲学における現代の最も難しい問題のいくつかに行き着きます。時間とともに好みが変わる人のために、どう行動すべきでしょうか。現在のその人のために行動するのか、未来のその人のために行動するのか。どちらでしょうか。これに対するよい答えはありません。この問題は、道徳哲学への理解に不足があることを示していると思います。そういう意味で、ソーシャルメディアで起きていることを解き明かすのは、本当に難しいのです。

ただ、私がお勧めしたいことの一つは、ソーシャルメディア・プラットフォームの考え方を変えることです。「どうすれば収益を上げられるか」ではなく、「利用者は何を大切にしているのか。どんな未来を望んでいるのか。自分自身がどんな人になりたいと思っているのか」と考えるのです。そして、それが分からないなら――私は分からないのだと思います――つまり、何十億もの利用者がいて、それぞれ異なり、好みも違います。私たちにはそれが分かりません。利用者の本当の好みについて最初は非常に不確かなシステムを用意し、利用者の好みを尊重しながら、もっと知ろうとする方法を考えるべきです。最も難しいのは、「いかなる状況でも利用者の好みに触れてはならない、変えてはならない」とは言えないことです。フィナンシャル・タイムズを読むだけでも好みは変わるからです。情報を得て、さまざまな視点を知れば、人は変わります。時間とともに人が変わっていくことは望ましいことです。いつまでも生まれたばかりの赤ん坊のままでいてほしいわけではありません。しかし、人を新しい人へと変えるプロセスがよいものだと判断する方法は、私たちにはありません。大学教育や世界を旅することは、よいことだと考えています。たいていは人をよりよくします。一方、洗脳やカルトへの入信、カルトが人にすることは悪いことだと考えています。しかし、ソーシャルメディアで起きているのは、こうした問いへの答えが分からないまさにその領域です。道徳哲学者やほかの思想家の助けが本当に必要です。

Robin: 先ほどケインズの言葉を引用されましたね。機械が私たちの仕事をすべて担うようになれば、人間はこの技を磨き、豊かな時代にできる限り充実した人生を送れる、と。ただ、ケインズがそれを書いたのは、誰もが暇な時間にソーシャルメディアをスクロールするようになる前でした。

Stuart: E・M・フォースターが書いた興味深い物語があります。フォースターはふだん、イギリスの上流社会や、ヴィクトリア朝の道徳観の衰退を描いた小説を書いていました。しかし1909年に、私はぜひお薦めしたい『機械が止まる』というSF小説を書きました。そこでは、誰もが完全に機械に依存しています。電子メールを使い、メールの未処理分に悩まされ、ビデオ会議やZoom会議を頻繁に行い、iPadを使っています。

Robin: E・M・フォースターがどうやってiPadについて書けたのでしょう?

Stuart: まさにそのとおりです。彼はそれをビデオディスクと呼びましたが、まさにiPadです。そして、画面上のメールにずっと釘付けになり、運動をしないために肥満になる人々も描いています。この物語は、自分たちの文明の管理を機械に任せると、自分で文明を理解したり、次の世代に理解の仕方を教えたりするインセンティブを失うという事実を描いています。

そして『ウォーリー』は、『機械が止まる』の現代版とも見られます。自分たちの文明を本当に理解し、運営するインセンティブを失ったため、機械によって誰もが弱体化し、幼児化しているのです。これまでは、そうなることはありませんでしたよね。文明の多くを本に記してきましたが、本が私たちに代わって文明を動かすことはできません。だからこそ、私たちは常に次の世代に教える必要があります。計算してみると、何万世代もさかのぼる途切れない連鎖の中で、教えることと学ぶことに費やされた時間は、合計で約1兆人年に及びます。その連鎖が途切れたらどうなるのでしょうか。物語が描いているのは、そういうことだと思います。AIが進展する中で、私たち自身が理解しなければならないことです。

Robin: ただ、楽観的な面を見れば、今の世代は、30年前にはなかった知識や知恵をすぐ手にできる環境にいます。ウィリアム・シェイクスピアの詩を読みたければ、図書館や書店に行く必要はなく、目の前ですぐ読めます。交響曲を聴いたり、ピアノの弾き方を学んだりすることもできます。私より30歳若い人たちがうらやましいです。『ウォーリー』のようにならないことを選べば、こうした知識にすべてアクセスできるのですから。

Stuart: ウィリアム・シェイクスピアやモーツァルトのことを聞いたこともありません。ビデオゲームに登場するキャラクターなら、すべての名前を言えます。でも、そうですね、これは先ほど話していた、教育制度についてどう考えるべきかという議論に戻ると思います。ケインズの見方、つまり彼の楽観的な未来像を信じるとしても、その未来は対人サービスを基盤とする経済ではなく、人々が幸せに暮らし、おそらく多くの自発的な交流があり、ある種の非経済的な仕組みが成り立つ社会でした。それでも彼は、そうした人生をうまく送るために人々をどう教育すべきか、私たちは理解する必要があると考えていました。現在の制度はそうなっていませんし、そのためのものでもありません。実際には、さまざまな経済的役割を果たせるよう人々を教育するもので、ヴィクトリア朝後期の英国の官僚機構向けに設計されたという人もいます。それをどう実現するのか。私たちにはその経験があまりないので、学んでいく必要があります。

Kay: 汎用人工知能を制御するために何をすべきか、少しお話しいただきました。それらの考え方が、今日のソーシャルメディアにも当てはまるという話もしました。アシモフにはロボット工学三原則がありましたが、あなたにも、すべてのAIが人間を最優先するようにするための三原則があり、実現を期待して検証しているのだと思います。

Robin: スチュアート、お答えになる前に、三原則をリスナーの皆さんに思い出していただいてもいいですか。先ほどAI、つまりWikipediaで調べてみました。SF作家アイザック・アシモフによるものです。第一原則:ロボットは人間に危害を加えてはならず、また何もしないことで人間が危害を受けるのを放置してはならない。第二原則:ロボットは人間から与えられた命令に従わなければならない。ただし、その命令が第一原則に反する場合は除く。第三原則:ロボットは、自らを守ることが第一原則または第二原則に反しない限り、自身の存在を守らなければならない。ではスチュアート、これに沿ってどのような原則を考えたのですか。

Stuart: アシモフへの敬意を込めて、三つの原則を掲げています。ただし、物語に登場するアシモフの規則は、ある意味でロボットのアルゴリズムが絶えず参照し、何をすべきか決めるための法則です。一方、私の本で示した三原則は、AI研究者が指針とするもの、そしてアルゴリズムが解く数学的問題をどう設定するかの指針だと考えています。

三原則は次のとおりです。第一に、あらゆる機械の唯一の目的は、人間の選好を満たすことです。「選好」は経済学の用語です。どんなピザが好きか、誰に投票したかというだけの意味ではありません。あらゆる重要な事柄について、考えられるすべての未来にどのような順位をつけるか、ということです。とても大きく、複雑で、抽象的なものです。たとえ説明しようとしても、その大部分は言葉にできないでしょうし、文字どおり自分でも分からないものもあります。たとえば、ドリアンを食べたら好きになるかどうか、私は本当に分かりません。大好きな人もいれば、ひどくまずいと思う人もいます。自分がどちらのタイプか分からないので、毎日ドリアンを食べる未来が好きかどうか、文字どおり答えられないのです。これが第一原則です。機械には人間の選好を満たしてほしいのです。

第二原則は、機械は人間の選好が何であるかを知らない、ということです。つまり、機械は人間の選好について当初は不確実な状態にあります。先ほど、この種の謙虚さによって私たちは制御を保てると話しました。ある意味で、機械が人間に従うようになるのです。

第三原則は、第一、第二原則でいう「選好」の意味を明確にするもので、人間の行動が人間の選好を示す証拠の源だと述べています。少し詳しく説明しましょう。基本となるモデルでは、人間は未来について選好を持ち、その選好が私たちの選択を引き起こします。行動とは、私たちがすること、しないことのすべてです。話すこと、話さないこと、座ること、この講義やインタビューを見ながらメールを読むことなど、すべてです。こうした原則を数学的な問題にするとき、それを「アシスタンス・ゲーム」と呼んでいます。

アシモフの原則とは大きな違いがあります。アシモフの原則の一部は反映されていると思います。人間に危害が及ぶのを許さないという考えは、「人間の選好を満たす」と置き換えられるでしょう。危害は選好の反対のようなものですから、「人間の選好を満たす」ということです。ただし、アシモフの原則の言葉遣いには、1950年代、60年代頃までかなり一般的だった考え方が表れています。不確実性はそれほど重要ではない、という考えです。だから「危害が起きないことを保証する」と言えたのです。でも考えてみてください。アシモフの第一原則に従う自動運転車は、決して車庫から出られないでしょう。高速道路で安全を保証する方法はありません。他の車が横からぶつかって押しつぶすこともあり得るからです。世界について、他の行為者がどう動くかについて、また自分の感覚が世界の状態を完全かつ正確に伝えてくれるわけではないということについて、不確実性を考慮しなければなりません。あらゆるところに不確実性があります。たとえば、私の車はどこにあるでしょう。車は見えません。家に座っていて、あちらのどこかにあるはずですが、まだそこにあるかは分かりません。この話をしている間に、誰かが盗んだかもしれません。世の中のほとんどすべてに不確実性があり、意思決定ではそれを考慮する必要があります。

第三法則では、第一、第二法則に反しない限り、ロボットは自らの存在を守る必要があるとされています。新しい枠組みでは、これはまったく必要ありません。ロボットが人間にとって有用で、私たちの選好を満たす助けになっているなら、それが存続する理由です。そうでなければ、理由はありません。私たちにとってまったく役に立たない、あるいは存在し続けることが私たちに害を及ぼすなら、間違いなく自らをなくすべきです。

映画インターステラーを見たことがあるなら、AIの観点からは、AIが私たちとどう協力すべきかを最も正確かつ妥当に描いた作品の一つです。登場するロボットの一体、TARSは自ら命を絶ちます。たしか、その質量がブラックホールに何らかの問題を起こしているため、「分かった。人間たちが脱出できるよう、ブラックホールに飛び込む」と言うのです。ロボットはまったく平然としていますが、人間たちはひどく動揺して「だめだ、だめだ」と言います。おそらくアシモフを読んで育ったからでしょう。実際には、いや、これはまったく合理的な行動だと理解すべきです。

Kay: あなたにこのポッドキャストに出演していただいたことで、リスナーの皆さんが人工知能について、より正確な知識を得られることを心から願っています。メディアなどではAIについて誤った情報があまりにも多く見られます。あなたは権威あるBBCリース講演も行い、活動を通じて多くの人にメッセージを届けています。難しい質問ですが、人工知能についてリスナーに持ち帰ってほしい、最も大切なことは何でしょうか。

Stuart: ビジネス文書でもおなじみのように、ここで伝えたい点は三つあります。第一に、AIはテクノロジーです。それ自体が善でも悪でもありません。どう使うかを決めるのは私たちです。うまく使うことも、誤用することもできます。設計の不十分なAIシステム、特に目標が誤って設定されたものにはリスクがあります。

AIシステムに限らず、アルゴリズム全般に、あまりにも長い間、何の責任も問わずにきたと思います。かつて医薬品にも同じようなことがありました。医薬品を規制するFDAなどの機関がなく、処方の不適切な薬や偽薬などによって、何十万人もの人が死亡したり負傷したりしました。そしておよそ1世紀をかけて、医薬品の規制制度を築きました。費用はかかりますが、その制度があるのは良いことだと多くの人が考えています。アルゴリズムについては、それに類する制度を整えるには程遠い状況です。医薬品以上に、これらのアルゴリズムは世界中の何十億人もの人々に大きな影響を与えているかもしれないのに、その影響が必ず良いものになると考えるのは妥当ではありません。各国政府もようやくこの問題に気づき、厳しすぎる規制で状況を混乱させずに、どう規制するかを懸命に模索しています。

第二に、ディストピア的な結末についてかなり話してきましたが、AIがもたらす大きな可能性にも目を向けるべきです。ケインズの話に戻れば、AIによって私たちは、これまで人類の歴史を特徴づけてきた生存競争から解放され、賢明に、心地よく、そして豊かに暮らせるようになるかもしれません。

これまでは、選択の余地がありませんでした。ベッドから起きなければ、飢え死にしてしまいます。未来には選択の余地が生まれるでしょう。ただベッドにとどまることを選ばないとよいのですが、豊かで、興味深く、充実した人生を実際に送るために、ベッドから起きる別の理由も見つかるでしょう。ケインズはそうしたことを考え、予測し、期待していました。しかし、自動的に実現するわけではありません。黄金時代が訪れたとしても、ディストピア的な結末はさまざまにあり得ます。

第三に、映画が何と言おうと、機械が意識を持ち、人間を憎むようになって、私たちを殺そうとするという事態は、現実に起きそうなことではありません。

ポッドキャストの全編書き起こしは下にスクロールしてご覧ください。

カリフォルニア大学バークレー校のコンピューターサイエンス教授、スチュアート・ラッセルは、世界有数の人工知能の専門家です。AIとは何か、機械があらゆる活動で人間を上回るのはいつ頃と予想されるのか、そしてなぜアルゴリズムの設計と利用の方法を見直し、人間とは何かという根本的な問いを立てる必要があるのかを解説します。

共催者は、世界経済フォーラムの第四次産業革命センターで人工知能・機械学習部門を率いるケイ・ファース=バターフィールドです。


詳しく読む:

https://www.weforum.org/agenda/2022/01/artificial-intelligence-stuart-russell-radio-davos

購読する(対応プラットフォーム:https://pod.link/1504682164

参加する 世界経済フォーラムのポッドキャストクラブ

こちらもおすすめ:

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。