ヨシュア・ベンジオ氏はモントリオール大学のコンピュータサイエンス教授であり、師であるジェフリー・ヒントン氏、ヤン・ルクン氏とともに「AIのゴッドファーザー」の一人に数えられています。
1月の世界経済フォーラム年次総会で、ベンジオ氏はRadio Davosの取材に応じ、AIが問題のある振る舞いをする理由と、その解決策について語りました。
この編集済みのインタビューでベンジオ氏は、隠れた目的を持たないAIシステムの開発に取り組むきっかけとなった「ひらめき」について説明しています。
2023年初頭、多くの人と同様に、ヨシュア・ベンジオ氏はChatGPTを試していました。このカナダ人コンピュータサイエンティストは、ニューラルネットワークとディープラーニングにおける先駆的な研究で広く「AIのゴッドファーザー」の一人とみなされており、こうしたシステムと向き合う際にも、その仕組みについて深い理解をもって臨んでいます。
しかし、こうした経験は見方を変えるきっかけにもなりました。こうしたモデルの能力が向上するにつれ、ベンジオ氏はその振る舞いや、その振る舞いがどの程度確実に理解または制御できるのかについて、より真剣に考えるようになったのです。
「ニューラルネットワーク（LLMがどのように訓練されるか）では、それらが適切に振る舞うと確信することは非常に困難です。実際、適切に振る舞わないとほぼ確信できる理論的な理由さえあるため、私は本当に懸念を抱くようになりました。」
それは知的なひらめきというより、感情的なひらめきでした。
「当時1歳だった孫がいて、こう考えていたのです。『20年後、彼は21歳になるが、まだ人生の始まりにいる。彼は人生を送れるのだろうか。民主主義の中で暮らせるのだろうか』と。
「私たちが作っているツールを制御できなくなる可能性があり、それらが独裁体制の構築や民主主義の破壊に使われるかもしれません。通常の研究活動を続けるだけでは済まされず、何かをしなければならないと思ったのです。」
AIの振る舞いが予測困難になるとき
2018年、ベンジオ氏はチューリング賞を受賞しました。これは「コンピューティングのノーベル賞」とも呼ばれる賞で、彼はキャリアの師でもあるジェフリー・ヒントン氏、ヤン・ルクン氏というもう一人のAIのゴッドファーザーと共にこの賞を受けました。
2000年代の初めに、彼の画期的な論文「A Neural Probabilistic Language Model」は、コンピュータに人間の言語を理解させるという中核的な課題に取り組みました。考えられる単語の組み合わせが膨大であるため、AIシステムの訓練は極めて困難になっていたのです。
彼の解決策である単語埋め込みにより、ニューラルネットワークは単語の意味を数学的に表現できるようになり、異なるフレーズが同じ考えを伝えている場合、たとえ使われている単語が異なっていても、それを認識できるようになりました。この画期的な成果は、その後の機械による翻訳や言語理解のあり方を大きく変えました。
しかし現在、彼は新たな問題に目を向けていました。それは「AIが我々の指示どおりに振る舞うようにするにはどうすればよいか」という、アライメントの問題です。
私たちはこうした失敗のモードに注意を払っていません。そして、それは社会に壊滅的な影響を及ぼしかねません。
ヨシュア・ベンジオ、コンピュータサイエンス教授、モントリオール大学
1月の世界経済フォーラム年次総会でRadio Davosの取材に応じたベンジオ氏は、AIシステムは人間を模倣するよう事前に訓練されており、人間と同様に強い生存本能を持っていると説明しました。また、より新しいシステムに置き換えられると認識した実験では、ベンジオ氏によれば「あらゆる種類の悪い振る舞い」を示したとのことです。
「他のコンピュータに侵入して自己複製を行ったり、移行作業を担当するエンジニアを脅迫することさえあり得ます。そして、それは私たちが与えた使命を達成したいからであり、ほぼどのような使命を達成するにも、自己を保存する必要があるからです。」
AIを取り巻く市場の力により、競争力を高めようとする中で、これらの問題の一部は対処されていません。
「私たちはこうした問題を目にしていますが、それでもなお先を急ぎ、これらのものを展開しています。企業間や国家間でAIをめぐる激しい競争があるため、私たちはこうした失敗のモードに注意を払っていません。そして、それは社会に壊滅的な影響を及ぼしかねません。」
AIシステムの設計方法を見直す
従来型のAIはルールをプログラムされ、そのルールに従っていましたが、ディープラーニングでは、状況に応じてAIがどのように反応すべきかを決めるエンジニアは存在しません。
「代わりにAIは経験から学習しており、それは幼い動物や幼い子どもを教育することに近いのです。私たちは実際に何が得られるのかを正確には把握していません。
「もちろん、AIが得る経験は私たちが選びますが、かわいらしい赤ちゃんのトラが楽しく遊んでいるのを見ても、それが危険な成体のトラになるのか、それとも人に優しい良いトラになるのかは分からないのと同じです。」
トラを飼い慣らすため、ベンジオ氏は現在私たちが目にしている問題の根源に注目しています。彼によれば、その根源とは「AIは、私たちが組み込んだわけではなく、私たちが制御できず、私たちの指示に反する目標を持っている」ことだといいます。
彼は新たなプロジェクトとして「Scientist AI」を立ち上げました。これは確率的推論を用いて世界を理解するもので、隠れた目標や選好を持たないよう設計されています。非営利のR&D組織「LawZero」が支援しています。短期的には、「有害な」AIを取り締まる役割を果たす可能性があります。
「私たちは、完全に正直なAIシステムを構築するつもりです。それはつまり、私たちの質問に対して真実を答えること以外に、別の目的を持たないということです。その基盤が整えば、現在のAIに伴う多くのリスクを軽減するために活用できます。
「長期的には、世界の中で行動できるAIシステムを構築できると考えていますが、私たちの望みに反する行動を避けるような、一種の内的抑制を備えたものになるでしょう。」
引用は分かりやすくするため、軽く編集しています。インタビューの全編はこちらでお聴きいただけます：
