経済学者は、大規模言語モデルがどのように機能するかを解きほぐすことで、そこから学ぶことができる。
これは、テキストと同様に、経済も多数の人や物の間の複雑な相互作用を含むためである。テキストは多くの単語同士の複雑な相互作用からなる。
経済学者はこの新たな方法論上の革命を歓迎し、創造性と実験のための新たな未開拓の地として捉えるべきである。
他の誰もと同様に、経済学者も大規模言語モデル（LLM）の欠点と長所を楽しんできた。ChatGPTのようなLLMは、魅力的なほど明瞭に言葉を操る。しかし一つの重要な問いがある。これらのモデルから、我々がまだ知らない経済について何かを学べるのだろうか？
私は、経済学者がLLMから学べることは多くあると考えている。それはLLMと対話することによってではなく、その仕組みを解きほぐすことによってである。結局のところ、LLMは言語をシミュレートするのに十分強力な数学的概念に基づいて構築されている。おそらく、これらのモデルがどのように機能するかを理解することは、経済学者にとって新たな着想の源となりうる。
LLMの仕組みを理解するには、言語を生成するモデルの最も原始的な版から始めると有用である。大規模なテキストのコーパスを用い、「brown,」の後に別の単語、例えば「dog」が続く回数を、それぞれの単語について数えることを想像してほしい。この二語の連なりは2-gram（バイグラム）と呼ばれる。この行列は原始的な言語生成モデルである。良い文章を生成するには単純すぎるが、英語では形容詞が名詞に先行する傾向がある、という「学習」を行えるほどには「賢い」。実際、バイグラム「brown dog」はdog brown」よりもはるかに頻繁に現れる。
LLMはこの考え方をn-グラムへと一般化する。これは、直前の単語の並びを与えたときに、ある単語が出現する確率を推定できるモデルである（厳密には「トークン」で、これは「archi, 」（architectureやarchiveの一部）のような単語の断片である）。確かに、n-グラムの行列はサイズが爆発的に大きくなりうる。1万語あれば、2-gramは1億通り、3-gramは1兆通りになり、18-gramに達すると、地球上のすべての原子を使って保存できる情報量よりも多くの組み合わせが存在する（地球が保存できるのは約10^56ビットであるのに対し、組み合わせは10^72通り）。ビット）。
したがって、LLMを構築するには巧妙なアイデアが必要であるはずだ。そのアイデアとは、ニューラルネットワークを用いて、わずかなパラメータによってこれらの単語列すべてを記述する関数を推定することである。ほぼ1兆個のパラメータを持つため、LLMは巨大に見えるかもしれないが、1兆個のパラメータはボルヘスの図書館にあるn-グラムの数と比べれば微々たるものである。
その結果、知識を模倣し始めるモデルが生まれる。LLMは「tea」と「coffee」が似ていることを「知って」いる。これは、これらの単語が「hot」、「drink」、「breakfast」のような単語の近くで使われることを学習しているためである。単語を孤立した実体としてではなく、ネットワーク内のノードとして表現することで、これらのモデルは言語を生成するために必要な表現を作り出す。
これは経済学とどのような関係があるのか？
テキストと同様に、経済も多数の人や物の間の複雑な相互作用を含む。確かに、これらを資本や労働といった定義済みのカテゴリーに分類したり、農業、サービス業、製造業といった活動に分類したりすることはできる。しかし、名詞、動詞、文法という考え方に基づく言語モデルが不完全であるように、経済活動の大まかな分類に基づくモデルも不完全であろう。LLMが我々に教えてくれるのは、定義済みのカテゴリーと演繹的論理を用いて世界の微妙な差異を捉える能力には限界があるということである。細部まで踏み込もうとするなら、システムをより細かい解像度で捉えることを可能にする数学的な道具箱が必要である。
このアイデアは全く新しいものではない。実際、経済学にはこれらのアイデアを長年用いてきた分野がある。有名な単語埋め込みアルゴリズムであるWord2vecが発表される6年前、我々は3人の同僚とともに国際貿易のネットワーク表現を発表した。そのネットワークは技術的には2-グラムであり、製品を他の製品との関係に基づいて表現するものである。「coffee」と「tea」の例と同様に、このネットワークは「drilling machines」と「cutting blades」が、同様の他の製品と一緒に輸出される傾向があるため関連していることを「知って」いる。このネットワークは、熱帯農業と温帯農業の違い、さらにTシャツの製造とLCDスクリーンの製造の違いも「知って」いる。
過去15年間、これらの手法は若手経済学者やベテランの実務家の間で支持を広げてきた。一方では、経済発展に対して、異なる製品や市場への経済の参入と退出を予測するといった、政策予測のアイデアを適用するために必要なツールを提供している。また、経済学における「埋め込み」（深層学習モデルで単語を記述するために用いられるベクトル表現のようなもの）ももたらしてきた。その埋め込みの一例が経済複雑性指数（Economic Complexity Index）であり、これは経済間の類似性行列から導かれる指標で、長期的な市場。地域間および国際間の経済成長、所得格差、排出量の変動を説明するものである。
機械学習がデータを収集、構造化、表現する能力は、あらゆる分野の研究者に機会をもたらしている。タンパク質の挙動を理解・予測しようとする計算生物学者から、経済の進化を理解・予測しようとする経済・国際開発の専門家まで。経済学者もコンピューター科学者も、この新たな方法論上の革命を歓迎すべきである。それは創造性と実験のための新たな未開拓の地である。
