このトランスクリプトは音声認識ソフトウェアを使用して作成されたもので、誤りが含まれている可能性があります。音声と照らし合わせて正確性をご確認ください。
Nicholas Thompson、The Atlantic 最高経営責任者: さて、皆さま、こんにちは。午後のご参加ありがとうございます。私はNicholas Thompsonです。The Atlanticの CEOを務めており、本日のモデレーターを担当します。このパネルは30秒で完売したと聞きました。私のせいではないことは分かっています。私は多くのパネルの司会をしていますが、通常そのようなことは起きないからです。このグループには本当にわくわくしています。素晴らしい顔ぶれがそろっています。実は、あまりに楽しみだったので、ここへ歩いてくる途中で質問を確認しながら遊歩道を進んでいたところ、前方に人の集団がいて、質問を読みながら歩いていたため、少し速度が落ちてしまいました。そこでニューヨーカー流に、その集団の間をすり抜けたところ、全員が機関銃を持っていることに気づきました。
すると突然、機関銃を持った二人の男性が、その集団の間をすり抜けていく小柄な私を見ました。ジョン・ケリーの随行団だったのです。しかし、私はどうしてもここに来たかったのです。これから、AIと機械学習の分野への最初の主要な貢献の時系列順に、パネリストをご紹介します。この5名の素晴らしい点は、いずれも過去に見事で異なる功績を残し、現在もまた見事で異なる取り組みを行っていることです。
それでは、私の左手からご紹介します。チューリング賞受賞者で、ニューラルネットワークのアーキテクチャの考案者であり、現在MetaでAIを統括しているYann LeCunです。次に、音声認識のための機械学習に取り組み、現在はHugging Faceのランキングで急上昇中の01.AIを率いるKai-Fu Leeです。続いて、AIのためにGPUを拡張する方法を初めて習得し、現在は数多くの役職を兼ねつつ、AI Fundを運営しているAndrew Ngです。
さらに、AIにベイズモデルを初めて用いたDaphne Kollerで、現在はInsitroを率いています。そして、Transformerアーキテクチャを考案したひとりであり、GPT の T は Transformer を意味する、現在Cohereを率いるAidan Gomezです。
本当に素晴らしいパネルで、皆さまがこれまで成し遂げてきたこと、そして現在取り組んでいることも素晴らしいです。きっと有意義なセッションになるでしょう。最初の質問です。この部屋を出るときに最も理解したいのは、今後数年間でAIの変化のスピードがどうなるかです。直近2年間に生まれた驚くべき技術革新は今後も続くのでしょうか。スケーリング則は継続するのでしょうか。ムーアの法則よりも速いペースで進化し続けるのでしょうか。それとも、ある種の頭打ちに近づいているのでしょうか。物事は減速し始めるのでしょうか。それでは、Kai-Fu Leeさん、この質問をお願いします。今後数年間で変化の速度は加速するのか、減速するのか、その理由も含めてお聞かせください。
Kai-Fu Lee、01.AI Pte. Ltd 創業者: 少し減速すると思いますが、それでも驚異的なペースは続くと考えています。直近2年間を振り返るだけでも、モデルの品質は大きく向上しました。2年前にはMLU(知能の程度をおおむね示す指標)が40〜50点台でしたが、現在は90点に達しており、まだ伸びる余地があります。
もちろん、計算資源とデータを追加することで性能は向上しますが、多くの起業家や大企業がこの分野に参入するにつれて、データの調整や学習、インフラなど、さまざまな側面を改良する余地も生まれます。私たちは業界に遅れて参入しましたが、規模の拡大ではなく、データの調整、学習、インフラなどの点で工夫を重ねることで、既存モデルを大幅に改善することができました。ですから、私は楽観的です。
Nicholas Thompson、The Atlantic: 直近のスケーリング則が成り立ち続けると考えるからこそ楽観的なのでしょうか。それとも、イノベーションが生まれると考えるからでしょうか。
Kai-Fu Lee、01.AI Pte. Ltd: 成り立ち続けると思いますが、当然ながら減速はするでしょう。どのような取り組みにも収穫逓減はありますが、まだ頭打ちには達していません。
Nicholas Thompson、The Atlantic: Andrew、いかがお考えですか。
Andrew Ng、DeepLearning.AI, LLC 創業者: ええ、スケーリングはますます難しくなっています。それでも、多くの人にとっては変化のペースは依然として加速しているように感じられると思います。イノベーションやアルゴリズムの検証の数が増えているからです。いくつか手短に例を挙げると、昨年はテキストの革命が起きました。今年は画像処理の革命が起きると思います。GPT-4V や Gemini Ultra によって既に始まっていますが、コンピュータは今後さらに優れた認識能力を持つようになるでしょう。
私は自律型エージェントにも多くのイノベーションが見られると考えています。プロンプトを与えて応答を得るLLMではなく、LLMに指示を与えると、その後30分ほど作業を進め、ウェブページを閲覧して多くの調査を行い、結果を持ち帰ってくれるようになります。現時点ではまだ完全には機能していませんが、多くの人がこの分野に取り組んでおり、これもまた次のイノベーションです。
また、AGIについてですが、私たちは従来、クラウド上でOMSを動かすことに慣れていました。しかし、オープンソースなどの影響により、今後は自分のデバイス上でより多くの大規模言語モデルを動かすようになると考えています。こうした多様なイノベーションの動きがあるため、私は、この分野が前進し続けていると感じられるようになると楽観しています。
Nicholas Thompson、The Atlantic: Aidan、この質問を少し変えてお聞きします。現在、大規模言語モデルに適用される計算資源を2倍にできたら、その性能も2倍になるでしょうか。あるいは3乗になるでしょうか。計算資源を増やすと、どのようなことが起きるのでしょうか。
Aidan Gomez、Cohere Inc. 共同創業者兼最高経営責任者: そうですね、私はスケーリングのペースは維持されると考えていますし、さらに加速し始めるとさえ言えると思います。現在のシステムには大きなボトルネックがあります。私たちは現在のアーキテクチャの限界や、使っている手法の限界を理解しています。そして、それらは今後改善されていくと思います。同時に、ハードウェアの基盤もますます向上しています。次世代のGPUは、現在の世代から大きな飛躍を遂げるでしょう。それによって、新たな規模や、はるかにコストのかかるアルゴリズムや手法を実行できるようになります。
ですから、物事が加速すると強く楽観しています。計算能力を2倍にした場合にどのような判断をするかという具体的な問いについては、現時点では私たちはまだスケーリングを終えていないと言えます。私たちはまだ押し上げていく必要があり、大規模言語モデルを構築している私たちのほぼ全員がそうしています。ですから、私ならモデルの規模を2倍にします。
Nicholas Thompson、The Atlantic: 無料なら、誰もがモデルの規模を2倍にするでしょうね。では、この質問に関心を持つ理由のひとつですが、Jonathan、もしこの関係が成り立つなら、つまりGPUが優れているほど、また利用できる計算資源や電力が多いほど、モデルの性能が高まるのであれば、その力は、それにアクセスできる少数の企業に集中することになります。もし頭打ちになるなら、市場はより競争的になりますよね。
Daphne Koller、Insitro Inc. 創業者兼最高経営責任者: 実は、その質問を少し別の方向に展開したいと思います。
Nicholas Thompson、The Atlantic: お好きなように変えてください。
Daphne Koller、Insitro Inc.: あなたが挙げた推進要因の分類では、計算資源と電力に言及しましたが、データには触れていませんでした。データこそ、これまでに見られた驚異的な進歩を支えてきた最大の要因だったと思います。そして、今後モデルに利用可能になるデータについては、まだその表面をかじり始めたにすぎません。
たとえば現在は、ウェブ規模のデータをすべて学習に用いています。それは素晴らしく驚くべきことですが、これらのエージェントはまだ身体性を持っていません。つまり、まだ世界と相互作用していません。ですから、拡張現実でこうしたものを持ち歩くようになったり、自動運転車からより多くのデータを得るようになったり、生物学や医療などのデータ、そして現在サイロに閉じ込められているさまざまなデータを活用し始めたりすると、これらのモデルは現在持っていない新しい能力を獲得すると思います。ですから、それがモデルの能力拡張の大きな要因になるでしょう。
Nicholas Thompson、The Atlantic: とても興味深いですね。ダボスでの会話では、データが枯渇しつつあるという人がいました。ウェブ上にはそれほど多くのデータが残っていないと。Yann、あなたはどう考えますか。
Yann LeCun、ニューヨーク大学 データサイエンス、コンピュータサイエンス、神経科学、電気工学 Silver Professor: Daphneに完全に同意します。LLMのパラダイムに注目すれば、確かにそれは飽和しつつあります。飽和しているのは疑いようがありません。実際、私たちはデータを使い果たしつつあり、インターネット上の公開データのほぼすべてを使っています。
学習には、たとえば10兆トークンが使われていますよね。1トークンはおよそ2バイトなので、学習データは約2.13兆バイト... 正確には、およそ20兆分の1程度のバイト数に相当します。ここにいる私たちの大半がこれを読むには、15万年から20万年かかるでしょう。では、子どもが視覚を通じて何を見ているかを考えてみてください。4歳の子どもが人生の中でどれだけの情報を見てきたかを数値化すると、視神経を通じて毎秒約20MBの情報が流れ込んでいます。人生最初の4年間の起きている時間は16,000時間で、1時間は3,600秒です。計算すると、10の15乗バイトほどになります。つまり、4歳の子どもは、現在の最大規模のLLMよりも50倍多くの情報を見てきたということです。
そして、その4歳の子どもは、現在存在する最大規模のLLMよりもはるかに賢いのです。子どもが蓄えている知識は、形式が異なるため量としては少ないように見えるかもしれませんが、実際には、4歳の子どもは世界の仕組みについて膨大な知識を持っています。現在のLLMでもこれを行うことは可能です。ですから私たちは、将来のシステムが活用できるような感覚入力を利用するために、本質的な科学や新しいアーキテクチャが欠けているのです。そのためには、いくつかの科学的・技術的なブレークスルーが必要になるでしょう。それは来年、3年後、5年後、あるいは10年後に起こるかもしれませんが、正確には分かりません。
Nicholas Thompson、The Atlantic: 確認させてください、Yann。利用可能なテキストデータは増えるけれども、無限に増えるわけではない。一方で、これらの機械に入力できる可能性のある視覚データは膨大だということですね。
Yann LeCun、ニューヨーク大学: ええと、先ほどお話しした16,000時間の動画は、YouTubeにアップロードされている30分ほどの量にすぎません。私たちが扱えるデータは、それよりもはるかに多くあります。問題は、どうすれば機械が動画から学習できるようになるかです。それは分かっていません。
Nicholas Thompson、The Atlantic: なるほど。では、次の段階が動画入力になるとした場合、どのような新しいアーキテクチャが必要になるのでしょうか。大規模言語モデルは、その構造や最適化の仕方からして、明らかにそれに適したものではありませんよね。今、何を構築する必要があるのでしょうか。
Yann LeCun、ニューヨーク大学: 分かりました。大規模言語モデルは、ある一つの方法で学習されます。テキストの一部を取り、それを崩して、欠けている単語を予測することで全文を復元できるように巨大なニューラルネットを学習させます。基本的には、単語の一部を取り除くことでテキストを崩します。ChatGPTなどのLLMは、最後の単語を取り除いて学習させています。技術的にはもっと複雑ですが、基本的にはそういうことをしていますよね。
つまり、入力に関する欠落した情報を復元するようにシステムを学習させているのです。では当然、なぜ画像でも同じことをしないのか、という発想になります。画像を取り、その一部を取り除くか、崩してから、大きなニューラルネットを学習させて画像を復元させるのです。しかし、それはうまく機能しないか、あまりうまく機能しません。その方向での取り組みは以前から多くありますが、それほどうまくはいっていません。動画でもうまくいきません。私は9年間、動画予測に取り組んできました。ある動画の一部をシステムに見せて、次に何が起こるかを予測するように学習させるのです。もしシステムがこれをできるなら、そのシステムは世界の本質について何かを理解していると考えられます。次の単語を予測しようとするテキストシステムが、文の意味について何かを捉えているのと同じです。しかし、それもうまくいきません。
Nicholas Thompson、The Atlantic: つまり、動画を撮って、私がこのように手を動かしてペンを落とすところを撮影すると、システムはペンが落ちることを予測できるけれども、現在の機械にはそれができない、ということですね。
Yann LeCun、ニューヨーク大学: 問題は、ペンを落としたときのペンの特定の姿勢によって、特定の軌道をたどるということです。私たちのほとんどは、その軌道を正確に予測することはできませんが、物体が落下することは予測できます。支えのない物体が落ちることを理解するまでに、赤ちゃんはおよそ9か月かかります。では、機械でどうやってこれを実現するのでしょうか。
Nicholas Thompson、The Atlantic: 待ってください。すみません、くだらない質問かもしれませんが、分からないのです。将来これらのものが機能し、動画を理解するようになることで、継続的に革命的なものになるのだとすれば、それはデータがそこにあるからですよね。でも、私たちは動画をよく理解していません。どうやってその矛盾を解消するのですか。
Yann LeCun、ニューヨーク大学: 潜在的な解決策はありますが、まだ本当の解決策はありません。ただ、現時点で最も有望なもの、少なくとも画像認識でうまく機能しているものは、驚かれるかもしれませんが、生成的ではありません。つまり、最もうまく機能するモデルは、画像を生成しません。復元もしません。予測もしません。代わりに、抽象的な表現の空間で予測をしているのです。私が手の中でペンがどのように落ちるかを正確に予測できないのと同じように、ペンが落ちることは予測できます。ですから、ペンがここにあるかあそこにあるかといった抽象的なレベルで、正確な配置の詳細がなくても、その予測はできます。必要なのは、ピクセル空間ではなく抽象的な表現空間で予測することです。これまでピクセル空間での予測がうまくいかなかったのは、単に複雑すぎるからなのです。
Daphne Koller、Insitro Inc.: しかし、それは動画だけの話ではないと思います。赤ちゃんが学ぶもう一つのことは、因果関係の概念です。赤ちゃんは世界に働きかけて何が起こるかを見ることで、それを学びます。そして、私たちはLLMではまだそれをまったく実現できていません。LLMは完全に予測のエンジンです。関連性を計算しているだけで、因果関係には至っていません。ビットと原子の間の溝を越えようとするときには、因果関係が極めて重要になります。これは現在のモデルに欠けている大きな能力です。身体性を持つモデルにも欠けていますし、コンピュータが常識的な回復力を持つ能力にも欠けています。製造業や生物学など、物理世界と関わる応用に広げようとすると、必ず欠けているのです。
Yann LeCun、ニューヨーク大学: 身体性を持つシステムでは、実際にある程度うまく機能しています。つまり、一部のシステムは世界モデルを持っています。たとえば、時刻Tにおける世界の状態の表現があり、私が取り得る行動があるとします。そこで、時刻T+1における世界の状態を教えてください、というわけです。
これは世界モデルと呼ばれるもので、このようなモデルがあれば、特定の目標に到達するための一連の行動を計画できます。ただ、現時点では、この原理に基づくAIシステムはあまり多くありません。学習があまり速くない、非常に単純なロボットのようなシステムを除けばです。ですから、このモデルを一度拡張できれば、世界を理解し、物理世界を理解し、計画し、推論し、因果関係も理解できるシステムが実現するでしょう。なぜなら、行動が何をもたらすかを理解しているからです。
また、目標指向、目的指向のシステムにもなります。計画によって満たすべき目標を与えることができるからです。これがAIシステムの将来のアーキテクチャです。そして私の考えでは、この仕組みをうまく機能させる方法が分かれば、まともな思考の持ち主であれば、もう自己回帰型のLLMを使おうとはしなくなるでしょう。
Nicholas Thompson、The Atlantic: 分かりました。私はニューラルネットワークの作り方は分かりませんが、子どもについては少し知っています。私には3人の子どもがいるので、皆さんは赤ちゃんを過大評価していると思います。因果関係について言えば、末っ子が生後9か月だった頃、ベビーベッドの脇に立って叫んでいたのを覚えています。そしてひっくり返りました。幸い、お尻から着地しましたが、物が落ちるという概念や、原因と結果が正確に何なのかを理解していたとは思えません。ところで、Kai-Fu、Yannの考えは、起こるべきことについて正しいでしょうか。彼は正しい方法で追求しているのでしょうか。それとも、考えが間違っているために不十分なのでしょうか。
Kai-Fu Lee、01.AI Pte. Ltd: いいえ、Yannはいつも正しいです!
Yann LeCun、ニューヨーク大学: ありがとうございます。
Kai-Fu Lee、01.AI Pte. Ltd: ただし、テキストベースのLLMに存在する驚異的な商業的価値を見失うべきではありませんよね。たしかに、LLMは論理的推論や常識さえもあるかのような驚くべき見せかけを与えてくれます。現実の問題を解決し、コンテンツを生成し、生産性を劇的に高め、あらゆる場所で導入されています。
ですから、起業家としての立場から言えば、まだ刈り取られていない価値が非常に多くあると感じています。世界モデルを持つというこの機会について言えば、それは研究者が取り組むべき素晴らしいテーマだと思います。ただ、私のようなスタートアップにとっては、それはもう少し先の話です。大学や大企業の研究所に発見をしてもらえればありがたく、その後に私たちが続きます。
Nicholas Thompson、The Atlantic: つまり、テキストベースの大規模言語モデルにとどまり、Yannが左で話しているような突飛なことには進まなくても、世界はすでに逆さまになってしまうということでしょうか。
Kai-Fu Lee、01.AI Pte. Ltd: すでにそうなっていますし、間違いなくそうです。コンテンツの生成、人々のエミュレーション、興味深い体験の創出、より優れた検索エンジンの構築など、想像できるあらゆる場所で、オフィスの生産性向上やパワーポイントやコンテンツの作成などが行われています。今日、どのようなものが最も多くの収益を生み、利用者に最大の価値をもたらすかを考えるとき、考えて取り組むべきことが多すぎるほどあります。
Nicholas Thompson、The Atlantic: Aiden、Kai-Fuに同意しますか。
Aidan Gomez、Cohere Inc.: はい、市場機会と、今日すでに存在し、まもなく非常に速やかに生まれる価値については、まさに同意します。たとえAGIに完全にたどり着けなくても、です。
Yannは、質問されたものとは違うかもしれないけれども、非常に興味深い問いに答えたと思います。あなたは、自己回帰モデルで現在行っていることをそのまま続ければ、目標に到達できるのか、と尋ねていたのだと思います。その答えは、お二人が言ったとおり、いいえだと私も思います。現実に根ざしていること、そして実際に現実世界を経験できることが、因果関係についての洞察を与えてくれるのです。ただし、これらは克服できない障壁だとは思いません。お二人もそう考えていると思います。
ですから、人々はその問題に取り組んでいると思います。これまでは、ばかげた戦略でも非常にうまくいったので、より大きなスーパーコンピュータを構築し、データを拡張すれば性能が上がり、驚異的な性能が得られてきました。次に何が来るのかは、わかっていると思います。オンラインでの経験が必要です。実際に現実世界と相互作用できる必要があります。
今日、これらのモデルは次のように展開されています。私たちはすべてオフラインで学習させ、オフラインとは、人との相互作用がなく、環境との相互作用もないことを意味します。そしてそれらを製品に組み込んで展開します。モデルは静的で、学習しません。その時点から固定されています。あなたが何をしてもそのモデルは変わりません。ですから、これらが継続的に学習できるようにするには、そこを変える必要があります。
もう一つの大きな障壁は、私たち人間は、このような議論を通じて学ぶということです。そうですよね。私たちは新しいアイデアを発見し、真実と可能な知識の領域を探究します。モデルも、それを自分たち同士で行えるようになる必要があります。
ですから、現在大きなボトルネックとなっているのは、自己対戦や自己改善という考え方です。Kai-Fuもそれを感じていると思いますし、私たちも皆そう感じていると思います。現在のモデルよりも賢いデータを手に入れることです。以前は、街の誰でも連れてきて、「私のモデルに正しく話すことを教えてください」と言えば、それでモデルが改善し、スコアも上がりました。しかし、モデルは本当に賢くなり始めています。ですから、街の一般の人に頼むことはできず、数学の修士課程の学生や、生物学の学生、さらに博士課程の学生のところへ行く必要があります。そしてその後は誰なのでしょうか。つまり、人類とその知識は、現在の戦略にとっての制約であり、上限のようなものになっています。ですから、私たちはそれを突破する必要があるのです。
Nicholas Thompson, The Atlantic: いいですか。では少し待ってください。最終的には、路上の一般の人がいて、博士号を持つ専門家がいて、世界で最も賢い人がいて、やがて機械同士が互いに話し、互いを訓練し、大量の合成データを生み出すようになります。私たち凡人には、何が起きているのかまったく分かりません。機械が自らを汚染したり、劣化させたりしていないと、どうして分かるのでしょうか。
Aidan Gomez, Cohere Inc.: 途中で失礼します。Daphneならこう言うと思います。それは単なる合成データではなく、機械が隔離された箱の中で互いに作用し合うだけではない、ということです。新しいものを発見するためには、現実世界にアクセスして実験を行い、そこから経験を得て、仮説を立て、それを検証し、千回失敗して一回成功する必要があります。まさに人間がそうするのと同じです。途中で遮ってしまい、すみません。ご質問は何でしたか?
Nicholas Thompson, The Atlantic: いいえ、それは素晴らしかったです。本当に良い話でした。
Andrew Ng, DeepLearning.AI, LLC: 技術的な限界についてコメントしてもよろしいでしょうか?YannとAgreeするかDisagreeするかは分かりませんが、今の大規模言語モデルがどれほど不完全かが話題になっています。大きな数同士の掛け算の後の次の文字を予測させると、しばしば誤った答えを出します。しかし、人間もそれは非常に苦手なのです。ただ、紙と鉛筆を与えられれば、たとえば私に紙と鉛筆を渡せば、途中経過を書かずにすぐに答えを言わされる場合よりも、はるかに上手に計算できます。大規模言語モデルも同じだと思います。
ですから、こうした限界を克服する方法の一つは、大規模言語モデルに、いわばスクラッチパッドに相当するものを与えることです。そうすれば、数学ははるかに得意になります。実際、大規模言語モデルは、ウェブページを閲覧するなど、現実世界で実際に何かを起こすために、スクラッチパッドのようなさまざまなツールを使い始めています。これらのツールは、短期的には、そして長期的にはより根本的に取り組むべきことですが、純粋に自己回帰的なモデルの限界を突破する一つの方法なのです。
Daphne Koller, Insitro Inc: より広い視点で言えば、先ほどAidanが私の考えとして述べた点に戻りますが、ご紹介に感謝します。現時点では、私たちには世界のin silicoモデルを作る能力がありません。世界は非常に複雑であり、世界を実験し、何が起きるかを確かめ、そこから学ぶ能力こそが、人間の知性を形作る上で極めて重要だと考えています。
したがって、機械を成長させたいのであれば、機械に、単にin silicoで互いに話し合い、自分たちだけの小さな宇宙の養分に頼るのではなく、世界を実際に実験し、成長と発達を続けるのに役立つデータを生成する能力を与える必要があります。そして、これから先の大きな差別化要因は、コンピュータに実験を設計させることだと思います。ペンを落としたらどうなるかといった単純な実験でも、あるいは、この五つの化学物質を細胞に入れたらどうなるかといった、より複雑な実験でも構いません。細胞に何が起きるのか。人間に何が起きるのか。そうした実験こそが、コンピュータに世界のこの途方もない複雑さを教え、数学の専門家や生物学の専門家が一度行き詰まった後に、人が現在教えられる範囲を本当に超えさせてくれるのです。
Nicholas Thompson, The Atlantic: とても興味深いです。私自身も、だんだん賢くなっている気がします。
Kai-Fu Lee, 01.AI Pte. Ltd.: 私からも一言よろしいでしょうか。はい、それらはすべて素晴らしい目標ですが、非常に多くのエンジニアリング作業が必要であり、望むなら、それをパッチと呼んでもよいでしょう。たとえば、大規模言語モデルが何もないところから物事を作り出してしまう問題は、検索エンジンによる情報取得の仕組み、つまりRAGを接続することで修正できます。数学の問題については、理論的にはWolfram Alphaを接続することもできます。実際に様々な企業がそれを試みてきました。今日見られる多くの問題は、そうした手法で対処できると考えています。スマートなやり方とは言えないと分かっています。GPT-4Vも、ものをつなぎ合わせる賢い方法だと主張することもできますが、研究者が身体性を持つAIや高度なものを構築しようとしている中で、今日の多くの問題を覆い隠しうる、はるかに多くのエンジニアリング上のつなぎ合わせが存在すると思います。
Nicholas Thompson, The Atlantic: Aidanが言ったことに戻りたいのですが、あなたはAGIについて話し、それから、それを作ることについて話しました。人工汎用知能は用語であり、定義にこだわりたくはありませんが、超知能機械、あるいはOpenAIの明言された目標は、あらゆる面で人間より賢い機械を作ることです。そこで、皆さんにお尋ねしたいのですが、多くのAI研究者にとって、これは適切な目標なのでしょうか。私たちは、一般的な面で人間より優れた機械を作るべきなのでしょうか。
Yann LeCun, New York University: では、鳥より速く飛ぶ飛行機を作るべきでしょうか。飛行機を作った目的は、鳥より速く飛ぶことではなく、飛ぶ仕組みを解明することでした。そして、現在のAI研究の問題は、人間に当てはまるかどうかに関わらず、知能と学習の根底にある原理を発見することだと思います。そして、それを行う最良の方法は、実際に知能を持つ機械を作ることです。そうしたものを実際に作らずに、正気を保つことはできないと思います。
ですから、科学的な問いがあります。知能とは何か。機械を知的にするために必要な構成要素は何か。その一つは学習です。私たちはそれについて知っています。この分野で一定の進歩はしていますが、10歳の子どもが、食洗機ではなく夕食の食卓を一度で片付けることを覚えたり、17歳の若者が20時間で運転を覚えたりするような学習の種類を、これまで再現できていません。私たちはまだレベル5の自動運転車を持っていません。では、人間や動物には、いったいどのような学習が起きているのでしょうか。
Nicholas Thompson, The Atlantic: しかしYann、あなたの比喩には反論したいと思います。なぜなら、私たちが行ったことは、鳥が行う一つのこと、つまり飛ぶことを取り上げて、それをはるかに上手くできるようにしたことだからです。私たちはより良い鳥を作ろうとしたわけではありません。「ああ、鳥がいるね」と言っただけです。ですから、その類推で言えば、AI研究者が、あらゆることにおいて人間の心をより優れたものにしようとするのではなく、例えば人間の生物学にどう最善を尽くせるかを考えるべきだ、ということになるのではないでしょうか。
Daphne Koller, Insitro Inc: では、皆さんが反対意見を求めたので、私はYannに反対したいと思います。
Nicholas Thompson, The Atlantic: Yannに反対する人など、Twitterを見ればお分かりのとおり、誰もいません。
Daphne Koller, Insitro Inc: では、Yannに反対してみようと思います。つまり、現在私たちがAIシステムを設計している方法が、人間の知能について教えてくれているとは確信していません。それは、ある知能について教えてくれているのです。私たちは確かに、知能を構築する方法について学んでいます。飛行機を作ることで鳥がどう飛ぶかが分かったとは思えません。Aのようなものを作ることで、人がどう推論するかが分かったとも思えません。
ですから、それは非常に価値のある目標だと思います。ただ、私たちが進んでいる道が、必ずしも人間の進化を理解するという特定の目標に導いてくれるとは思えません。一方で、今度はKai-Fuに同意したいと思います。つまり、AIの世界では、人間には自力では解決できないかもしれない、非常に困難で重要な壮大な問題を解決するという、他にも多くの取り組みが可能だということです。私が取り組んでいる問題、つまり生物学や医療の問題について言えば、人間は実のところ、そうした問題を解くのが本当に苦手です。
そして、それは、人間が、赤ちゃんが世界と関わる中で自然に学ぶような自然なパターンに収まらない、非常に大量で異種混在のマルチモーダルなデータの中の微妙なパターンを見つけるのが本当に苦手だからだと思います。ですから、Yannの目標を軽んじるつもりはありませんが、別の壮大な目標として、医療、農業、環境、気候変動などにおける、人間が独力では到達できない極めて困難な社会問題に取り組めるコンピュータを作ることが考えられます。ですから、言わば二つの異なる道があると思います。
Yann LeCun, New York University: 確かに、私たちが飛行機を作ったことで、鳥がどう飛ぶかを理解したのは事実です。また、例えば人間の知覚について、ニューラルネットのおかげで、はるかによく理解できるようになったのも事実です。神経科学だけでも、視覚野のモデルとして畳み込みネットを用いた論文が文字通り何千本もあります。
Daphne Koller, Insitro Inc: 理解は深まりましたが、同じものではありません。
Yann LeCun, New York University: これ以上ないほど良いものです。以前使っていた、基本的にはテンプレートマッチングだったものより、はるかに優れています。しかし、人々は、例えば人間の脳が物語をどう理解するかを説明するために、LLMを使って同じことをしようとしています。それはうまくいきません。
Daphne Koller, Insitro Inc: では、意見は一致しますね。
Nicholas Thompson, The Atlantic: AGIを理解したいと思います。非常に興味深い方向に向かっていると思います。Andrew、目標としてどう思われますか?
Andrew Ng, DeepLearning.AI, LLC: 一言申し上げると、AGIは素晴らしい目標だと思いますが、AIはそれ自体がとても大きな分野です。私たちが皆、一つの目標を持つ必要はありません。AGIに取り組む人、気候変動に取り組む人、生命科学に取り組む人がいてよいと思います。そして、これらすべてに取り組み、すべてを称えましょう。
Kai-Fu Lee, 01.AI Pte. Ltd.: 私が18歳のころ、AGIは私の夢でした。それは人間の認知がどのように機能するかを解明することです。Yannの、人間の認知が最先端の技術の進歩に役立ったという類推に異を唱えるつもりはありませんが、今日の大規模言語モデルは、まったく異なる種類の生き物だと考えざるを得ません。学習のさせ方も違いますし、得意なことも非常に得意で、苦手なこともあります。その問題の一部を修正しようと努力することは立派ですが、その潜在的な価値は今のところまったく実現されていません。ですから、LLMが人間を模倣したり、人間のように学習したり、人間を打ち負かしたりすることを必ずしも目指さなくても、世界にとってより多くの価値を生み出せることは、たくさんあるのです。
人類が自動車を発明したとき、誰も自動車に歩くことを教えたいとは思いませんでした。しかし、自動車はトラックになり、さまざまな他のものになり、エンジンは飛行機を動かすようにもなりました。ですから、私たちは今、いわばHenry Fordの段階にいると思います。あなたがその技術を発明したHenry Fordのような存在で、今私たちはその上に築き上げようとしています。エンジンさえあれば、作れるものはもっとたくさんあるのです。そのエンジンが人間の脳に似ているかどうかは、私はあまり関心がありません。新しいLLMというエンジンの価値を実現することは、そのエンジンでより多くの価値を生み出す方法を見つけたいという思いにもつながります。ですから、それが私の関心事です。ほかの人々がAGIを愛して問題を解決しようとするのも構いませんし、科学的には興味深いと思います。しかし、価値創出への最速の道は、この素晴らしいエンジンを手に入れて、そこから自動車、トラック、飛行機を作ることだと思います。
Nicholas Thompson, The Atlantic: それでは、Aidan、あなたがAGIについて話していたとき、その約一分後に、「それを作るなら」というような内容を言いましたよね。そこでその「作る」とは何を意味するのか尋ねたかったのですが、あなたの答えがとても興味深かったので、尋ねませんでした。ですが今、「作る」と言ったとき、それはAGIのことだったのか、それとも人類により広く貢献する、継続的に改善されるAIのことだったのか、お尋ねしたいのです。この分野には、AGIがいわばゴールラインだと考えている人が多くいるからです。どうお考えですか?
Aidan Gomez, Cohere Inc.: いいえ、それは継続的なものです。そうですよね?離散的なものではないと思います。特定の分野では超人的になることもできると思います。モデルは特定の側面で超人的になることがあります。どの人間のプレイヤーをもはるかに超えるモデルもあります。ですから、連続体だと思います。あらゆる面で人間より優れたモデルになる地点もあるかもしれませんが、それはおそらく不明確な定義だと思います。そして、これはずっと連続的な変化なのです。
AGIやそれが正しい方向なのかどうかという問題については、個人的には、ただ世界のために価値を生み出したいと考えています。ですから、AGIに到達しなくても、私は構いません。もし届かなかったとしても、その技術でまだ多くのことができますし、創出できる価値はたくさんあります。それで満足するでしょう。しかし、もちろん、可能な限り最大の価値を実現できることを願っています。そして、それには、頼りにできる、可能な限り強力なツールが必要だと思います。それこそ、ここにいる私たち全員が作ろうとしているものだと思います。
Nicholas Thompson, The Atlantic: 別の話題に移りたいと思います。
Andrew Ng, DeepLearning.AI, LLC: AGIの定義について面白いことの一つは、知能への生物学的な道筋、例えば人間の脳があり、また知能へのデジタルな道筋、つまり私たちが持っているAIモデルがあり、それぞれ長所と短所が異なることです。面白いのは、AGIの定義においては、デジタルな知能への道筋を生物学的な道筋に対するベンチマークとして評価させていることです。それは価値のあることです。しかし、それによって、驚くほど価値のあるデジタルな知能を明らかに構築しているにもかかわらず、AGIを作ることが非常に難しくなります。
Nicholas Thompson, The Atlantic: その指摘は大好きです。とはいえ。
Yann LeCun, New York University: ここでの大きな違いは、科学と技術の進歩においては、それが提供されていても、実用的な解決策を作るために、いわば前もって搾り取ることができる、ということだと思います。そして、この部屋にいる皆さんは、投資家か、技術者か、会社のCEOのいずれかで、短期的にこれを行う必要があります。それがあなた方の目的だからです。あるいは、長期的なものかもしれません。
そして、私たちは皆、AIに向けた進歩の科学に刺激を受けてきました。ある程度、あなた方はそれを捨ててしまいましたが、私はまだ18歳です。
Andrew Ng, DeepLearning.AI, LLC: 私は捨てていません。
Yann LeCun, New York University: そうですか、それは良かったです。
Nicholas Thompson, The Atlantic: では、AIの中でも最も議論を呼ぶ考え方の一つ、オープンソースと、将来のAIにおけるオープンソースの役割についてお話ししたいと思います。米国とその政府の議論を追ってきて分かったように、オープンソースに対する強い懸念があります。
オープンソースのAIが、人々が改変し、利用し、共有できるものであれば、多くの悪人がAIを使って悪事を働けるようになり、さらには恐ろしいことが起きるかもしれない、という懸念があります。たとえば、米国に拠点を置くインフラを部分的に基盤として、フランス人が構築したモデルをもとに、中国を拠点とする大規模言語モデルが生まれ、そのインフラを取り込み、異なるモデルとデータを使って構築されるかもしれません。Hugging Faceのランキングを急上昇させるような、そうしたひどいものが生まれるかもしれません。
ですから、オープンソースについては多くの懸念があります。しかし、このパネルでは、私たちはある程度オープンソースに寄り添う方向に進むと思います。Yann、あなたはAIのあらゆるものについてオープンソースを主張する、主要な提唱者の一人ですから、まずあなたから始めて、あなたの見解を述べてから、反論を出して、どこに行き着くか見てみましょう。
Yann LeCun, New York University: 技術の歴史では、何かが基本的で共通の基盤とみなされると、最終的にはオープンソースになる、というのが常でした。それはインターネットのソフトウェア基盤についても当てはまります。その理由は、より安全で、より速く進歩するからです。また、過去10年ほどAIがこれほど速く進歩してきた理由は、人々がオープンな研究を実践してきたからです。結果が得られたら、すぐにそれをarXivに公開し、コードもオープンソースにすれば、誰もがそれを再利用できます。
また、誰もが使うPyTorchのような共通のソフトウェア基盤があります。その結果、多くの人がそれに取り組むため、分野全体が加速します。彼らは自ら選んで参加しています。だからこそ、オープンな研究とオープンソースには魔法のようなものがあるのです。ですから、その進歩を速く保つ方法は、研究をオープンに保つことです。もし懸念を理由にオープンソースを法律で存在しないものにしたら、進歩は遅くなり、悪人たちもどうせそれにアクセスするでしょう。そして、彼らは結局、世界の他の人々にただ追いつくだけになります。
Nicholas Thompson, The Atlantic: つまり、あなたはあらゆる面でオープンソースを支持している、ということですね。たとえ人々が、例えば性的なボットのようなものを作り、人々が互いに関係を持たなくなるような状況でも、ですか。
Yann LeCun: では、そこには大きな問いがあります。知能システムにとって何が許容される振る舞いだと考えるかです。そして、言語、文化、価値観、関心の中心が異なる国々の出身であれば、この部屋の全員の答えは異なるでしょう。ですから、米国西海岸の少数の企業によって生み出されたAIシステムが、私たちのあらゆる関心に応えるということは、ありえないのです。
私たちのデジタル世界とのあらゆるやり取りが、それほど遠くない将来にAIシステムによって媒介されるようになる、そうした唯一の道があります。AIシステムは、眼鏡やスマートフォン、その他どんな機器にでも入り込み、私たちの日常生活を助ける人間のアシスタントのようになるでしょう。私たちのデジタルな情報の摂取はすべて、AIシステムによって仲介されるようになるのです。
あなた方は、これが少数の民間企業の支配下に置かれることを望まないでしょう。ですから、基盤となる基礎モデルはオープンソースである必要があり、その上に、特定の文化、言語、価値観、関心に合わせて、それを微調整できる集団によって構築されたシステムが存在することになるでしょう。そして、多様な報道が必要であるのと同じ理由で、あらゆる関心に応えるためには、多様なAIシステムが必要になるのです。ですから、これは法律で定められるべきではありませんし、また、法律で定めることはできないでしょう。
Nicholas Thompson, The Atlantic: では、ここにいる全員が、Facebookの主任AI研究者が、米国西海岸の大規模テック企業から権力を最大限に分散させたいという考えに同意するのでしょうか。
Aidan Gomez, Cohere Inc.: それは私も賛成だと言おうと思っていました。私はそれが好きですが、反論したい点もあります。
Nicholas Thompson, The Atlantic: その点を指摘してください。
Aidan Gomez, Cohere Inc.: はい。私は、それが二者択一ではないと言いたかっただけです。オープンソースかクローズドソースかの二択である必要はないと思います。そして、私は完全に同意しますが、規制すべきではなく、オープンソースを禁じる政策を作るべきでもないと思います。ただ、私はそれを提案している人を多くは知りませんが、もしいるなら、ここには中間地点があると思います。そして、オープンソースにできて、オープンソースにすべきで、そして作り手を支えるモデルのカテゴリーが存在すると思います。そうでしょう?新しい体験を作りたいハッカーや、実験をしたい人、大規模な米国西海岸のテック企業を覆そうとする人たちは、それをするための技術に絶対にアクセスできるべきです。
同時に、これを中心にビジネスを構築しようとしている組織もあります。私たちは競争優位性を作りたいのです。私たちはモデルをクローズドに保つ権利を持つべきであり、それでよいはずです。ですから、一つではなく、ハイブリッドのエコシステムがあるべきです。中間的な答えは退屈なものだと知っていますし、この話をもっと面白くするために、本当は極端な立場を取るべきなのかもしれません。
Nicholas Thompson, The Atlantic: オープンソースを法律で存在しないものにしようと直接的に試みている人は多くありませんが、バイデン政権は大統領令を出しており、それによれば、膨大な法務チームがレッドチームの結果を米国政府に提出する必要があります。オープンソースのAI企業がそれに従えるとは考えにくいです。つまり、比較的少数の企業に権力を集中させる効果を持つ法案が存在するのです。
Andrew Ng, DeepLearning.AI, LLC: そのとおりです。
Aidan Gomez, Cohere Inc.: ええ、そうだと思います。
Nicholas Thompson, The Atlantic: では、Yannのオープンソースに関する主張に反論したり、補足したりしたい人はいますか。
Andrew Ng, DeepLearning.AI, LLC: 私はYannの見解に、ある点では同意し、一点では異なります。それは、より多くの知能があれば、世界はより良くなるのかという問題だと私は思うからです。そうですよね。私たちは主に人間の知能についてそれを用いています。今、人工知能においては、社会をより豊かにし、人々の生活をより良くする傾向のある知能があり、オープンソースの知能であれば、より多くの人々が利用できるようにできます。確かに、知能は場合によっては悪意のある目的に使われうることは認めますが、平均的に見れば、私たちは皆、それによってはるかに良くなると思います。
私はイアンとは少し異なる見方をしているかもしれません。それは、インフラはオープンソースと自然に相性が良いということです。そうであってほしいのですが、今日では私たちは皆、NvidiaやAMD、Intelの製品の上に構築しており、クラウドの上にも構築していますが、半導体の設計は非常にクローズドです。私の考えでは、前向きな規制を政府に働きかけるのは、実は私たち自身の役割です。どの程度開かれた社会を望むのかは、結局のところ私たち全員で決めることです。現時点では、オープンソースに対して非常に負担の大きい要件を課す規制案を、ある程度推し進めることに成功している強力な勢力が確かに存在します。そして私は、過剰な規制のリスクが、規制不足のリスクをはるかに上回っている非常に危険な局面にあると考えています。率直に言えば、ワシントンD.C.で人々と接していると、AIを規制しようとするロビイストが、オープンソースを締め出すための大きな政策アジェンダを掲げて、数千万ドルから数億ドルもの資金を投じているのが肌で感じられます。一部の企業は、オープンソースと競争せずに済むならそのほうが望ましいと考えているのかもしれません。
Nicholas Thompson, The Atlantic: Kai-Fu、あなたは最大限にオープンソースなのですか。
Kai-Fu Lee, 01.AI Pte. Ltd.: 最大限にというわけではありませんが、Yannの発言にはほぼすべて同意します。さらに一点付け加えるなら、少数の企業がモデルにおける最大の権力を握り、支配してしまうことの問題の一つは、途方もない不平等を生み出すことです。それは、より裕福でない人々や、より貧しい国々の人々だけの問題ではなく、教授、研究者、学生、起業家、愛好家にとっての問題でもあります。もしオープンソースが存在しなければ、彼らは学ぶために何をするのでしょうか。彼らこそが次の創造者、発明者、あるいはアプリケーションの開発者になるかもしれないのです。それを一つか二つのプラットフォームでの開発を強いれば、イノベーションは大きく制限されると私は考えます。
Nicholas Thompson, The Atlantic: それは必ずしも正しいのでしょうか。昨晩、イノベーターズ・ディナーでSam Altmanの話を聞きました。あなたも同席していたと思いますが、彼はOpenAIにとって最善の立場は、AGIを超える完璧な機械を作り、それを無料で配布して所得格差を減らすことだという主張をしていました。つまり、所得格差を減らすためにオープンソースが必ず必要というわけではないということです。
Kai-Fu Lee, 01.AI Pte. Ltd.: それは、誰もが自然に抱くであろう利他的な考え方ですね。そうでしょう。ですから、技術をできるだけ多くの人々が利用できるようにするほうがはるかに良いと私は考えますし、規制には私は全面的に反対です。一点申し上げると、基盤モデルは完全にオープンソースでなければならないというYannの考えには、同意できるかどうかわかりません。一部の企業は、基盤モデルの段階で競争優位を築きたいと考えるかもしれませんし、どちらの方向も実現可能な選択肢だと思います。
Yann LeCun, New York University: あなたがおっしゃったように、Sam AltmanはOpenAIが良いアイデアを独占しているわけではないと述べました。彼らは、それが何を意味するにせよ、単独でAGIに到達することはできません。実際、彼らはPyTorchを使っていますし、Transformersも使っています。つまり、私たち多くのインフラ関係者によって発表されたものを使っているのです。そして最近、彼らは競争優位のために口をつぐんでしまいました。それが収益を生み出す唯一の方法だからです。しかし彼らは、私が先ほど述べたオープンな研究環境から利益を得ているのです。
Kai-Fu Lee, 01.AI Pte. Ltd.: そして、この分野で最大手の2社は、成長しているどの分野で私が見てきたよりも、論文の発表を制限しています。
Daphne Koller, Insitro Inc: このテーマを続けると、これらの企業によって構築されたモデルは特定の用途には優れているかもしれませんが、他の用途には適切な基盤ではないかもしれません。ですから、利用可能な基盤を一つか二つ、あるいは三つの企業が特定のユースケースに向けて設計したものに制限してしまうと、次のイノベーターが、これらの企業が開発したモデルの当初の構想では使われていなかった新しい創造的なアイデアや新しいデータモダリティを用いて、新しいアプリケーションを構築することが難しくなるかもしれません。
オープンソースのモデルによる強固な基盤を作らなければ、人々が構築できる環境を作らなければ、イノベーションを阻害することになると思います。さて、AidanやKai-Fuに同意しますが、誰かが生み出すすべてのモデルがオープンソースである必要はありません。新しいモデルアーキテクチャや新しい種類のデータモダリティによって競争優位を持つことは、もちろん可能です。しかし、コミュニティが構築の土台とするための、オープンソースモデルによる強固な基盤が必要なのです。
Nicholas Thompson, The Atlantic: さて、残りは約1分半です。そこで、手短にラウンドを行いたいと思います。Kai-Fuが話していたことの一つは、オープンソースは世界をより平等にするために不可欠だということです。前回の技術革命は、多かれ少なかれ世界をより不平等にしたように見えました。AIにおいて、世界をより平等にするためには何が必要でしょうか。手短に、起きてほしいことを一つお願いします。
Yann LeCun, New York University: 平等の問題ですが、もちろん、オープンソースによる普及は平等にとって大きな要因です。ただ、経済的な平等については、財政の問題、つまり財政政策の問題であって、技術の問題ではありません。
Andrew Ng, DeepLearning.AI, LLC: 企業におけるAIの導入を見ると、トレーニングが多くの企業で最大のボトルネックの一つになっていることがあります。選択肢はあるのです。AIアプリを構築するためだけでなく、ボットを使いこなすためにも、労働力のスキルを高める必要があります。それによって生産性が急速に向上するからです。
Daphne Koller, Insitro Inc: ですから、おそらく驚くことではありませんが、Andrewと私はCourseraを共同で創業したので、Andrewの回答を少しひねって、教育だと言いたいと思います。この技術を使える人と使えない人の間で最も大きな隔たりとなるのは、構造化された思考力です。構造化された思考は、私たちが子どもたちに十分に教えているものではありません。そして、この技術をうまく使える人とそうでない人の間で大きな差を生むスキルですから、小学校の段階から始める必要があると考えています。
Kai-Fu Lee, 01.AI Pte. Ltd.: グローバルな競争です。一社がすべてを支配することは、イノベーションを阻害するため危険であるだけでなく、より多くの競争がそれに対処する助けになると考えています。さらに、これはグローバルな問題でもあります。なぜなら、技術プラットフォームが独自のイデオロギー、価値観、偏見を伴って登場したのは、これが初めてだからです。ですから、異なる人々、文化、国、宗教がそれぞれのモデルを開発し、世界規模で対等に競争できるようにし、どの国にも支配させないよう注意しなければなりません。
Aidan Gomez, Cohere Inc.: はい、重要なのはアクセスだと思います。技術へのアクセスと、誰もがそれに貢献できるようにすること、その技術が彼らの言語を理解し、彼らの文化を理解していることを確実にすることが、平等にとって極めて重要になるでしょう。
Nicholas Thompson, The Atlantic: さて、素晴らしいパネルでした。皆さん、本当にありがとうございました。ありがとう。
ポッドキャストの全文書き起こしは下にスクロールしてください。「Show more」の矢印をクリックしてください
生成AIは指数関数的に進化しています。研究と応用の最前線では何が起きているのでしょうか。また、新しい技術や手法は、フロンティア生成AIモデルに関連するリスクと機会をどのように変えつつあるのでしょうか。
登壇者:
Yann LeCun、ニューヨーク大学 データサイエンス、コンピュータサイエンス、神経科学、電気工学 シルバー教授
Nicholas Thompson、The Atlantic 最高経営責任者
Kai-Fu Lee、01.AI Pte. Ltd. 創業者
Daphne Koller、Insitro Inc 創業者兼最高経営責任者
Andrew Ng、DeepLearning.AI, LLC 創業者
Aidan Gomez、Cohere Inc. 共同創業者兼最高経営責任者
これは世界経済フォーラム年次総会2024のセッションの全音声です
セッションはこちらでご覧いただけます:https://www.weforum.org/events/world-economic-forum-annual-meeting-2024/sessions/the-expanding-universe-of-generative-models
ダボスからの最新情報は wef.ch/wef24 でご覧いただけます。ソーシャルメディアではハッシュタグ #WEF24 をご利用ください。
すべてのポッドキャストは wef.ch/podcastsでご覧いただけます:
YouTube: https://www.youtube.com/@wef
Radio Davos - 購読: https://pod.link/1504682164
Meet the Leader - 購読: https://pod.link/1534915560
Agenda Dialogues - 購読: https://pod.link/1574956552
World Economic Forum Book Club Podcast - 購読: https://pod.link/1599305768
参加はこちら:World Economic Forum Podcast Club: https://www.facebook.com/groups/wefpodcastclub



