再帰的に自己改善し、複雑で終わりのない問題に取り組む超知能AIという次のフロンティアに近づくなか、私たちは「問題を解決する」とはどういうことかについて合意しなければならない。
こうした問いについて人間同士で合意できないのであれば、どのようにしてAIシステムにそれらを組み込めばよいのだろうか。
指導者たちは、世界経済フォーラム2026年次総会に集まり、AIやその他の新興技術の倫理的な利用が、現実世界の課題に対する解決策へとどのようにつながるかを検討している。
データの増加、計算能力の向上、そしてトランスフォーマーのようなアーキテクチャの革新により、AIの能力は急速に拡大してきた。今や、再帰的に自己改善し、複雑で終わりのない問題に取り組む超知能AIという次のフロンティアに近づくなか、私たちはこれまで見過ごされてきた問いに向き合っている。「問題を解決する」とは実際に何を意味するのかについて、私たちは合意する必要がある。
AIは、与えられた目標を最適化することに非常に長けており、それは恩恵であると同時に呪いでもある。例えば、ある企業がコールセンターにおける顧客満足度スコアを最大化したいと考えたとする。他に何の指示もなければ、最も単純な解決策は、短い通話の後に顧客満足度フォームに入力し、最高評価を選択する百万のボットを送り込むことかもしれない。あるいは、失敗した注文のそれぞれに10,000ドルの解決ギフトを与えると決めるかもしれない。顧客満足度は上がるだろうが、その代償はいったい何なのか。AIは指示された通りのことを成し遂げたが、その成し遂げ方は役に立たないものであった。
これは報酬ハッキングと呼ばれる。この問題を社会的課題の規模にまで拡大すると、その代償は存亡に関わるものとなる。
現在、私たちはAIシステムへの指示を作成するプロンプトエンジニアを抱えている。「役立ちつつ簡潔に応答せよ」や「このデータを分析し、主な知見を要約せよ」といった指示である。これらがうまく機能するのは、タスクの範囲が限定されており、結果が比較的明白だからである。
しかし、より大きな課題にAIを取り組ませるとどうなるだろうか。税制を最適化する。不平等を縮小する。気候変動に対処する。経済成長を最大化する。たちまち私たちは、単に指示を与えるだけでなく、価値観、優先順位、そしてトレードオフを組み込むことになる。AIによって消えたり縮小したりする仕事に私たちは多くの注意を向けてきたが、私は新たな職種が生まれると考えている。
超知能AIにとって、成功とは実際にどのような姿なのだろうか。
超知能AIに「経済を成長させ、経済的不平等を解消せよ」と依頼したと想像してみよう。それは何を意味するのだろうか。
それは、全員が同じ所得を得ることを意味するのか。同じ機会を得ることを意味するのか。特定の側面において同じ結果を得ることを意味するのか。イノベーションへの誘因を維持するために、ある程度の不平等を残しておきたいのか。不平等を縮小するために経済成長を減速させる必要があるとしたら、どうなるのか。それは受け入れられるのか。
あるいは、「企業の収益性を高めよ」について考えてみてほしい。AIは四半期ごとの利益を最大化すべきなのか。長期的な株主価値を最大化すべきなのか。従業員の幸福や環境への影響を考慮すべきなのか。利益の最適化は、いつ問題となるのか。
これらは、社会が何世紀にもわたって議論してきた、困難な哲学的・政治的問いである。しかし、超知能が私たちの主要な地球規模の課題の解決を実際に支援するためには、私たちが何を望むのかをどのように明確に言語化するかを考え抜く必要がある。
私はこの課題を直接目の当たりにしてきた。私たちのAI Economist論文では、強化学習を用いて最適な税制政策を設計した。そこでは、AIエージェントが労働者と経済の計画者の役割を担い、すべてが共に学習しながら、平等と生産性のトレードオフを改善する税制政策を見つけ出すシミュレーション経済を構築した。
AIには、平等と生産性を掛け合わせたものを最適化するよう指示した。しかし、その過程で環境を破壊しながらそれを達成していたとしたら、どうなるだろうか。あるいは、全員が惨めな状態にありながら、技術的には平等な結果を生み出していたとしたらどうだろうか。私たちは掲げた目標を達成したことになるが、明らかに望んでいなかったものを手にしてしまうことになる。
AIに与えたい実際の報酬について合意できない場合、あるいはAIが望ましくない方法で課題を達成する可能性について枠にとらわれずに考えられない場合、AIはあなたのためにこれらのことをうまく成し遂げることができないだろう。客観的には目標を達成するが、実際には意図したものではなかったような、こうしたあらゆる例外的ケースや失敗のシナリオを見つけ出さなければならない。'
フォーラムがリーダーのAIへの理解と責任あるイノベーションに向けた協働をどのように支援しているか
AI卓越性センターは、急速に進化する人工知能と、それが経済や社会に与える影響について、各セクターのリーダーをつなぐ組織である。AIの導入に関わる機会、リスク、トレードオフについて、情報に基づいた対話を支援している。
信頼できる場や協働イニシアチブを通じて、センターはパートナーが共通の理解を築き、AIイノベーションと活用における責任あるアプローチに向けて協働できるよう後押しする。
「解決」の意味を誰が決めるのか？
ここで、おそらく最も難しい問いにたどり着く。すなわち、「解決」とは何を意味するのかを誰が定義するのか、という問いである。国によって根本的に異なる価値観がある。
国内においてさえ、私たちは合意できずにいる。GDPの成長と幸福のどちらを最適化すべきか。自由と安全保障のどちらを優先すべきか。イノベーションと安定のどちらを優先すべきか。個人の自由と集団の福祉のどちらを優先すべきか。こうした問いについて人間同士で合意できないのであれば、複数の人類文明にまたがる推奨事項に関わるかもしれないAIシステムに、どのようにしてそれらを組み込めばよいのだろうか。
製品安全性試験のための国際的な枠組みが必要であるのと同様に、客観的な成果について考えるための共通の枠組みが必要である。それだけでなく、人間の価値観や社会的目標を、AIシステムが扱える精密な仕様へと翻訳できる人材も必要である。私はこれを報酬エンジニアリングと呼んでいる。名称はどうであれ、それは今日ほとんど存在しない専門分野であり職種である。
こうした人材は、超知能が邪悪だからでも、独自の意思を持っているからでもなく、人間が定義した報酬を得るための最も単純で、最も安価で、最も速い方法を見つけ出すために、目標をどのように操作しうるかを予測できるほど、AIを深く理解する必要がある。自己改善を続ける、終わりのない学習を行う超知能が、目標をどのように操作しうるかを予測するためには、価値観やトレードオフに関する根本的な問いに取り組むための批判的思考と哲学的な訓練が必要である。また、経済学、政策、倫理、社会科学といった、AIの応用分野全般にわたる専門知識も必要である。さらに、コールセンター業務のような地味だが極めて重要な機能についても理解が求められる。そして、客観的には掲げた目標を達成しながら、実際には誰も望まなかったものを手にしてしまうような失敗のシナリオを考え抜く必要がある。
超知能AIを導入する前に、何を検討すべきか。
強力なAIを導入する前に、目標について地球規模のコンセンサスが必要だと主張する人もいる。競争や実験を通じて目標が自然に生まれるべきだと言う人もいる。価値観を定義するには民主的なプロセスが必要だと考える人もいる。専門家や市場を信頼すべきだと考える人もいる。AIがあらゆる産業においてより重要になるにつれ、抽象的にすべてを定義しようとすることは意味をなさない。各産業において、AIが実際に人々の生活に影響を及ぼす場面で規制する必要がある。
AIがあらゆる産業のあらゆる仕事にどのような影響を与えるかについては、まだすべての答えが出ていない。しかし、超知能によって経済的・社会的な利益を生み出すためには、技術的な画期的進歩だけでは不十分であることは分かっている。
超知能AIが地球規模の課題を解決する前に、私たちは非常に人間的な課題を解決しなければならない。それは、「解決」が何を意味するのかについて合意し、その合意をAIが扱える形に変換するための枠組みを構築することである。
報酬を定義することで最も価値が高まるのは、どの職種だろうか。
