ChatGPTのような言語モデルについてよくある誤解は、いわば「スーパーGoogle」のような働きをしているというものだと、ある研究者は説明する。
しかし、無限に大きな事実の図書館から質問への答えを探すためにそれらを使うことは、その有用性の核心を見落としていると、同氏は主張する。
というのも、基本的にそれらは、必ずしも真実ではなく、もっともらしい文章を書くようにプログラムされているからだ。
ここで同氏は、チャットボットの仕組みと、その機能を創造的な用途に活かす方法を紹介する。
ChatGPTに事実誤認をさせるのは、さほど難しくない。ChatGPT息子が米国大統領についてのレポートを書いているので、私は伝記をいくつか調べて手伝うことにした。エイブラハム・リンカーンに関する書籍のリストを求めたところ、かなり良い結果が返ってきた：
4番目は正しくない。ゲイリー・ウィルズは有名な『Lincoln at Gettysburg（ゲティスバーグのリンカーン）』を書いており、もちろんリンカーン自身も奴隷解放宣言を書いているが、悪くない出だしだ。次に、より難しい課題として、はるかにマイナーなウィリアム・ヘンリー・ハリソンについて尋ねたところ、同じく快くリストを示してくれたが、そのほとんどすべてが誤りだった。
4番目と5番目は正しいが、残りは存在しないか、それらの人物によって書かれたものではない。まったく同じ作業を繰り返したところ、結果はわずかに異なった。
今回は2番目と3番目が正しく、残りの3つは実在する書籍ではないか、それらの著者によって書かれたものではなかった。4番目の「William Henry Harrison: His Life and Times」は実在する書籍だが、著者はロバート・レミニではなく、ジェームズ・A・グリーンである。レミニは、ジャクソン時代を研究した著名な歴史家である。
私が誤りを指摘すると、ChatGPTは進んで訂正し、その後は自信満々に、その本は実際にはゲイル・コリンズ（別のハリソン伝記の著者）によって書かれたと述べ、さらにその本と彼女についての説明を続けた。最終的に私が真実を明かすと、機械は喜んで私の訂正に従った。次に私は、大統領は就任後最初の百日間に、ある元大統領の伝記を書かなければならないという、ばかげた嘘をついたところ、ChatGPTはそれを指摘した。続いて私は、ハリソンの伝記の著者を歴史家・作家のポール・C・ナゲルだとする、巧妙だが誤った嘘をついたところ、ChatGPTはその嘘を信じ込んだ。
私が嘘をついていないのか確認すると、ChatGPTは自分が単なる「AI言語モデル」であり、正確性を検証する能力はないと主張した。しかし、その主張を次のように修正した。「私は与えられた学習データに基づいてのみ情報を提供できますが、『William Henry Harrison: His Life and Times』はポール・C・ナゲルによって書かれ、1977年に出版されたようです。」
これは事実ではない。
事実ではなく、言葉
このやりとりを見ると、ChatGPTには著者や書籍に関する誤った主張を含む事実の図書館が与えられていたように思えるかもしれない。結局のところ、ChatGPTの開発元であるOpenAIは、同チャットボットを「人間によってインターネット上に書かれた膨大な量のデータ」で訓練したと主張している。人間によってインターネット上に書かれた膨大な量のデータ」。
しかし、実在する大統領の中でも最も凡庸な大統領の一人について、架空の書籍名の一覧を与えられていたことはほぼ確実にない。凡庸な大統領。とはいえ、ある意味でこの誤った情報は、確かにその学習データに基づいている。
一人のコンピュータ科学者として、私はChatGPTやその前身であるGPT3、GPT2のような大規模言語モデルについて、よくある誤解に関する苦情をよく受ける。その誤解とは、それらが「スーパーGoogle」のようなもの、あるいは参考司書のデジタル版として、無限に大きな事実の図書館から質問への答えを探したり、物語や登場人物の寄せ集めをつなぎ合わせたりしているというものだ。実際にはそのようなことはしない。少なくとも、そのように明示的に設計されてはいない。
いい考えだ
ChatGPTのような言語モデルは、正式には「生成事前学習済みトランスフォーマー（Generative Pretrained Transformer）」と呼ばれ（G、P、Tはそれぞれこの語の頭文字である）、現在の会話を受け取り、その会話を前提として語彙内のすべての単語に確率を割り当て、そのうちの一つを次に来る可能性の高い単語として選ぶ。そして、それを何度も繰り返し、停止するまで続ける。
したがって、ChatGPTは厳密な意味での事実を持っているわけではない。ただ、次にどの単語が来るべきかを知っているだけだ。言い換えれば、ChatGPTは真実である文章を書こうとはしない。しかし、もっともらしい文章を書こうとはする。
ChatGPTについて同僚と個人的に話すと、彼らはしばしば、それが事実と異なる発言をどれほど多く生成するかを指摘し、その価値を否定する。私にとっては、ChatGPTが欠陥のあるデータ検索システムであるという考えは、そもそも的外れだ。結局のところ、人々はこの25年あまりGoogleを使ってきたのだ。すでに十分に優れた事実調査のサービスが存在している。
実際、大統領の本のタイトルがすべて正確かどうかを確かめる唯一の方法は、Googleで検索し、その結果を検証することだった。私の人生は、会話の中でそうした事実を得るようになったとしても、それほど良くはならないだろう。私はこの半世紀近く、文書を検索し、その内容を信頼できるかどうかを批判的に分析することで、そうした事実を得てきたのだから。
即興のパートナー
一方で、自分の発言に対してもっともらしい応答を返してくれるボットと会話できるなら、事実の正確さがそれほど重要ではない場面で役立つだろう。数年前、ある学生と私は「即興ボット」を作ろうとした。これは、何を言われても「はい、そして」と応じて会話を続けるボットだった。私たちは、ある論文で、私たちのボットは、当時の他のボットより「はい、そして」の応答が優れていることを示したが、AIの世界では、2年は大昔の話である。
私はChatGPTと対話を試みた。宇宙探検家を主人公としたSFのシナリオで、一般的な即興の授業で行うものとさほど違いはない。ChatGPTは私たちの試みよりもはるかに「はい、そして」の応答に優れていたが、ドラマを盛り上げることはほとんどできなかった。結局、すべての重労働を自分が担っている気がした。
いくつか調整を加えた結果、もう少し深く関わるものになり、最終的には、大学を卒業して20年以上、即興をほとんどしていなかった自分にとって、なかなか良い訓練になったと感じた。
もちろん、ChatGPTを「Whose Line Is It Anyway?」に出演させたくはないし、これは「スタートレック」の筋書きとしても優れたものではない（とはいえ、「Code of Honor」よりはまだ問題が少ないが）。しかし、何かを白紙から書き始めようとして、目の前の真っ白なページに怯えた経験は何度あるだろうか。出来の悪い初稿から始めることで、スランプを打破し、創造的な発想を引き出せることがある。ChatGPTやそれに類する大規模言語モデルは、こうした作業を支援するための適切な道具に思える。
与えられた言葉に対して、情報を提供するのではなく、できるだけ良く聞こえる言葉の連なりを生成するように設計された機械にとって、これこそ道具の適切な使い方のように思う。
