予測学習モデルは数十年前から存在していますが、ChatGPTの新しい点は、そのトレーニング方法にあり、はるかに大量のデータにアクセスできるようになっています。
これによりパターンを捉えることができ、非常にリアルな文章の記事、物語、詩、対話、戯曲などを生成することができます。
専門家によれば、コンピュータの脳と人間の脳が新しい情報を学習し、それを使ってタスクを実行する方法には、多くの類似点があるようです。
しかし、ChatGPTのようなアプリケーションは定常状態のシステムであり、リアルタイムで進化しているわけではありませんが、オフラインで絶えず改良されている可能性があります。
ChatGPTが人間のように話すなら、人間と同じように学習するのでしょうか？そして、コンピュータの脳は人間の脳とどれほど似ているのでしょうか？
OpenAIが開発した新技術であるChatGPTは、人間のコミュニケーションを不気味なほど巧みに模倣するため、まもなく世界とそこにあるすべての仕事を支配するだろうと言われています。少なくとも、見出しを見ればそう信じてしまうでしょう。
2月8日にブラウン大学のCarney Institute for Brain Scienceが主催した対談では、異なる研究分野を専門とするブラウン大学の二人の研究者が、人工知能と人間の知能の類似点について議論しました。ChatGPTの神経科学に関するこの議論は、参加者に、今まさに話題の機械学習モデルの内部を垣間見る機会を提供しました。
Ellie Pavlickは、コンピュータサイエンスの助教授であり、Google AIの研究科学者で、言語がどのように機能するか、そしてコンピュータが人間のように言語を理解できるようにするにはどうすればよいかを研究しています。
Thomas Serreは、認知・言語・心理科学およびコンピュータサイエンスの教授であり、生物学的視覚と人工視覚の交差点に焦点を当て、視覚知覚を支える神経計算を研究しています。彼らと共にモデレーターとして参加したのは、それぞれCarney Instituteのディレクター兼副ディレクターであるDiane Lipscombeと、Christopher Mooreでした。
PavlickとSerreは、ChatGPTが人間の脳と比較してどのように機能し、そのことが技術に何ができて何ができないのかを明らかにするかについて、互いに補完する説明を行いました。新技術をめぐる様々な話題がある中で、Pavlickは、このモデルはそれほど複雑ではなく、新しいものでさえないと述べました。最も基本的なレベルでは、ChatGPTは文中の次の単語、そしてその次の単語を予測するように設計された機械学習モデルであると説明しました。
自然言語処理を専門とするPavlickは、このタイプの予測学習モデルは数十年前から存在していると述べました。コンピュータ科学者は長年、この挙動を示し、人間と自然言語で会話できるモデルを構築しようと試みてきました。そのためには、モデルが、非常に複雑な概念を「推論」することを可能にする、従来型のコンピューティング部品のデータベースにアクセスする必要があります。
新しいのは、ChatGPTの訓練、すなわち開発の方法です。ChatGPTは想像もつかないほど膨大なデータにアクセスでき、Pavlickの言葉を借りれば、「インターネット上のすべての文章」です。
「ChatGPT自体が転換点なのではありません」とPavlickは述べました。「転換点は、過去5年ほどの間に、基本的に同じでありながら、より大規模になったモデルの構築が増加したことです。そして、規模が大きくなるにつれて、性能が向上しているのです。」
また、ChatGPTやその競合サービスが無料で一般に公開されていることも新しい点です。Pavlickによれば、1年前でさえChatGPTのようなシステムと対話するには、ブラウン大学のCompute Gridのようなシステムへのアクセスが必要でした。これは、学生、教員、職員の中で特定の権限を持つ者だけが利用できる専門ツールであり、かなりの技術的な知識も必要でした。しかし今では、どのような技術的能力を持つ人でも、ChatGPTの洗練されたシンプルなインターフェースで遊ぶことができます。
ChatGPTは本当に人間のように考えるのでしょうか？
Pavlickによれば、そのような膨大なデータセットでコンピュータシステムを訓練した結果、一般的なパターンを捉え、非常にリアルな文章の記事、物語、詩、対話、戯曲などを生成できるように見える、とのことです。偽のニュース報道や偽の科学的発見を生成することもでき、驚くほど効果的な結果、すなわち「出力」をあらゆる種類で生み出すことができます。
その結果の有効性から、多くの人が機械学習モデルは人間のように考える能力を持っていると信じるようになりました。しかし、本当にそうなのでしょうか？
神経科学、コンピュータ科学、工学を背景とするSerreは、ChatGPTは人工ニューラルネットワークの一種であると説明しました。つまり、ハードウェアとプログラミングは、脳内のニューロンを単純化したものに着想を得た、相互接続されたノードのグループに基づいているということです。
Serreは、コンピュータの脳と人間の脳が新しい情報を学習し、それを使ってタスクを実行する方法には、実に多くの魅力的な類似点があると述べました。
「少なくとも表面的には、ChatGPTのようなアルゴリズムが言語情報を処理するために用いる単語や文の表現の種類と、脳が行っていると思われることとの間に、何らかの関連がある可能性を示唆する研究が始まっています」とSerreは述べました。
例えば、ChatGPTの基盤は、トランスフォーマーネットワークと呼ばれる最先端の人工ニューラルネットワークであると彼は述べました。これらのネットワークは自然言語処理の研究から生まれたもので、最近では人工知能分野全体を支配するようになりました。トランスフォーマーネットワークには、コンピュータ科学者が「自己注意（self-attention）」と呼ぶ特定のメカニズムがあり、これは人間の脳で起こることが知られている注意のメカニズムに関連しています。
もう一つの人間の脳との類似点は、この技術がこれほど高度になることを可能にした重要な側面であるとSerreは述べました。彼は、過去には、コンピュータの人工ニューラルネットワークに言語を学習させ使用させたり、画像認識を行わせたりするためには、データベースの構築や物体カテゴリーへのラベル付けといった、単調で時間のかかる手作業を科学者が行う必要があったと説明しました。
ChatGPTで使われているような現代の大規模言語モデルは、このような明示的な人間による監督を必要とせずに訓練されています。そしてこれは、Serreが影響力のある脳理論として言及した、予測符号化理論と呼ばれるものに関連しているようです。これは、人間が誰かの話を聞くとき、脳は絶えず予測を行い、次に何が語られるかについて期待を形成しているという仮定です。
この理論は数十年前に提唱されたものの、Serreは、神経科学ではまだ十分に検証されていないと述べました。しかし、現在、多くの実験的研究を推し進めています。
「少なくともその二つのレベル、すなわち、次に何が語られるかを絶えず予測しているこのネットワークの中核エンジンにおける注意のメカニズムのレベルでは、非常に大まかなレベルで、神経科学に関連する考え方と一致しているように思われる、と言えるでしょう」とSerreは、このイベントの中で述べました。
彼は、大規模言語モデルが用いる戦略と実際の脳の処理を関連付ける最近の研究があると指摘しました。「まだ理解すべきことが多くありますが、神経科学において、コンピュータ内でこれらの大規模言語モデルやビジョンモデルが行うことは、私たちの脳が自然言語を処理する際に行うこととまったく無関係ではないことを示唆する研究が増えつつあります。」
やや暗い話になりますが、人間の学習プロセスが偏りの影響を受けやすいのと同様に、人工知能モデルも偏りや破損の影響を受けやすいのです。これらのシステムは統計的な関連付けによって学習するとSerreは述べました。データセットで支配的なものが優勢となり、他の情報を押しのけてしまうのです。
「これはAIにとって非常に深刻な課題であり、言語に限った話ではありません」とSerreは述べました。彼は、インターネット上で白人男性が過剰に表現されていることが、一部の顔認識システムに偏りを生じさせ、白人でも男性でもない顔を認識できないほどになっていると指摘しました。
「システムは、与える学習データの質によってしか良くなりません。そして、そもそも学習データがそれほど優れていないことは分かっています」とSerreは述べました。さらに彼は、データは無限にあるわけではなく、特にこれらのシステムの規模と、その際限のない欲求を考えると、なおさらだと付け加えました。
最新版のChatCPTには、Pavlickによれば、有害または憎悪的なコンテンツの生成を防ぐガードレールとして機能する強化学習層が含まれています。ただし、これらはまだ改善途上です。
「課題の一つは、……モデルにルールを与えることはできないということです。「そのようなものを生成するな」と単純に言うことはできないのです」とPavlickは述べました。「モデルは例から学習するので、多くの例を与えて『このようなことはするな。こういうことをせよ』と伝えます。そのため、悪いことをさせるための小さな抜け道を見つけることは常に可能なのです。」
いいえ、ChatGPTは夢を見ません
人間の脳とニューラルネットワークが異なる点の一つは睡眠、特に夢を見ている間です。AIが生成したテキストや画像が、超現実的、抽象的、あるいは無意味に見えることがあっても、Pavlickは、生物学的な夢を見るプロセスと生成AIの計算プロセスとの機能的な類似性を支持する証拠はないと述べました。彼女は、ChatGPTのようなアプリケーションは定常状態のシステムであり、言い換えれば、オンラインでリアルタイムに進化・変化しているわけではなく、オフラインで絶えず改良されている可能性があることを理解することが重要だと述べました。
「[ChatGPTは]そのように、何を知っているかを固めるために、あるいは脳内で起こるようなことを行うために、物事を再生し、考え、新しい方法で組み合わせようとしているわけではありません」とPavlickは述べました。「むしろ、こういう感じです。終わったのです。これがシステムです。ネットワークを通したフォワードパスと呼んでいます。そこからのフィードバックはありません。自分が行ったことを振り返り、やり方を更新することはないのです。」
Pavlickは、例えば、クエン酸回路（クレブス回路）についてのラップ曲や、誰かの犬のサイケデリックな画像を作るようAIに頼んだ場合、出力は印象的に創造的に見えるかもしれないが、実際にはシステムが既に訓練された作業の寄せ集めにすぎないと述べました。人間の言語使用者とは異なり、各出力が後続の出力を自動的に変えたり、機能を強化したりすることはなく、夢が機能すると考えられている仕組みとも異なります。
人間の知能や人工知能に関するあらゆる議論について、SerreとPavlickは、両方のシステムについて科学者はまだ多くを学ぶ必要があると強調しました。ChatGPTそのものへの過熱した期待、そして人間以上に人間らしいチャットボットを生み出すニューラルネットワークの成功については、Pavlickは、特に技術やエンジニアリングの観点から見て、十分に値するものだと述べました。
「とてもわくわくします！」と彼女は述べました。「私たちはずっとこのようなシステムを求めてきたのです。」
出典：ブラウン大学
