EU のAI法など、人工知能を統治するための枠組みは、人間が引き続き管理しているという前提に立っている。
しかし、人間がAIシステムを監視するために必要な能力は、実践を通じて維持されるものであり、その実践を今やAIが代わりに行っている。
その人物を、そのスキル、実践、判断力とともに守ることが、AIを適切に統治するうえでますます不可欠となるだろう。
人工知能（AI）を統治するあらゆる枠組みは、同じ安心できる前提に基づいている。すなわち、人間が引き続き管理しているという前提である。EUのAI法は、高リスクシステムに対する人間による監視を義務付けており、その一般データ保護規則（GDPR）は、機械のみによる意思決定を制限している。また、企業のAIポリシーでは、顧客に届く前にすべての出力を人が確認することを約束している。そのメッセージは一貫している。AIは自ら何も決定しない、ということだ。
しかし、この前提は、ほとんど口にされることのない問題を隠している。その問題は、システムが導入された最初の日からすでに存在している。AIシステムを監視するために人間が必要とする能力は、固定された資産ではない。それは実践を通じて築かれ、維持されるものであり、まさにその実践を、人間に代わってAIシステムが今まさに行っているのである。
システムの能力が高まるほど、人間に任せる作業は増え、監視者が監視役割の基盤となる判断力を行使する機会は減っていく。人間による監視は、単に安全装置として機能し続けるわけではない。それは、管理対象のシステムとともに、作業ごとに静かに価値を失っていく。我々はこれを「監視のパラドックス」と呼ぶ。
不都合な含意は、性能の高いAIほど、監視を強化するどころかむしろ弱めてしまう可能性があるということだ。システムが認知的作業をより多く引き受けるにつれて、それをレビューする人間はその作業を直接把握する力を失い、システムが誤っている瞬間を見抜くことが難しくなる。能力と監視上のリスクは共に高まる。これは、将来のより高度なAIに関する懸念ではない。監視が今日すでに直面している現実を描いたものである。
監視のパラドックスは仮説ではない
この変化の速さこそが、事態を緊急なものにしている。その中でも、GPQAベンチマークでは、物理学、化学、生物学における博士課程レベルの問題で、人間の博士号取得の専門家が約65%を正答している。このベンチマークが2023年末に公開された時点で、最も強力なGPT-4のベースラインの正答率はわずか39%だった。2026年までに、最先端のモデルは約94%のスコアを記録している。比較は完全に厳密なものではないが、大まかな全体像は明らかである。機械は、専門家の水準をはるかに下回る段階から、はるかに上回る段階へと移行したのである。
ソフトウェア工学でも同じ推移が見られる。その中のSWE-benchは、オープンソースコードの実際の不具合を修正することをモデルに求めるベンチマークであり、2023年の公開時点で最も優れたシステムが解決できた問題は5%未満だった。人間が検証したSWE-bench Verifiedのセットでは、現在、主要なシステムは90%を大きく上回る問題を解決している。
電卓が暗算を衰えさせるまでには一世代を要した。AIは専門家の能力を数か月という時間軸で作り替えつつある。そして、その圧縮こそが監視にとっての問題の核心なのだ。システムが監督対象の人々を速いペースで追い越すほど、その作業に関する人々の実地での習熟は速く置き去りにされる。能力が一段上がるたびに、監視者が越えなければならないハードルは静かに引き上げられ、同時に、それを越えるための実践は失われていく。
この傾向は研究室の中に限られたものではない。AnthropicのEconomic Indexは、AIの利用が、労働市場の最低賃金層や最高賃金層ではなく、中高所得の知識労働（ソフトウェア開発、技術文書作成、その他の類似の専門的業務）に集中していることを明らかにしている。Anthropicは、大規模な技能の喪失が続くとの主張は慎重に避けており、明示的にその結果を予測することは控えている。しかし、その影響は示唆的である。AIの影響を最も受けている業務こそ、意味のある監視が依拠している、専門性と判断力を大きく要する業務そのものなのだ。
AIを監視する能力の侵食
三つの異なる力が働いており、それらは互いに影響を増幅し合っている。
心理的な力：自動化バイアス
人は、自動化されたシステムが通常は正しい場合に、そのシステムを信頼しがちである。古典的なフライトシミュレーターの研究ではによると、熟練したパイロットでさえ、システムが見逃した問題に対処しなかったり、誤った指示を相互確認せずに受け入れたりすることが分かった。誤りを検出するために必要な情報がまさに確認可能な状態にあった場合でも、誤り率は約55%に達したと記録されている。同じ反射的な行動は知識労働にも当てはまる。AIが極めて高い精度で異常を指摘する放射線科医は、100件目のスキャン以降、画像を評価することから、機械の判定を追認することへと移行しがちである。EU AI法第14条はこの問題に直接対処しており、監視者に自動化バイアスへの警戒を怠らないことを求めている。
構造的な力：技能喪失の循環
システムが作業を遂行し、人間は品質保証の役割に移される。しかし、品質保証には専門知識が必要であり、専門知識は実践を通じて習得され、その実践こそシステムが引き受けてしまったものなのだ。たとえば、契約書を自ら起草する代わりに、AIが起草した契約書のレビューに2年間従事する弁護士を考えてみよう。戦略的な欠落を見抜く感覚や、数百件の契約書を自ら起草してきたからこそ身につく判断力を、彼らはいつ失うのだろうか。委任が一巡するたびに、次の監視は少しずつ薄いものになっていく。
法的な力：形式的な監視と実効的な監視
GDPR第22条は、自動処理のみに基づき、個人に重大な影響を及ぼす決定を制限している。ただし規制当局は明確に、管理者が形だけの人間によるレビューで規則を逃れることはできないとしている。人間の関与は意味のあるものでなければならず、決定を覆す権限と、関連するすべてのデータを検討する知識を持つ者によって行われる必要がある。その能力が損なわれている場合、残るのは形だけのコンプライアンスの演出に過ぎない。
EU AI法は、次の規定を通じて、このギャップの解消を図っている。すなわち、第4条（AIリテラシーを義務付ける）、および第14条（高リスクシステムに対する実効的な監視を義務付ける）。しかし、いずれも人間の能力と機械の能力との安定した関係を大部分において前提としている。規則は介入の可能性を保障することはできるが、介入する人物がまだ介入の必要性を判断できることまでは保障できない。
自律的に持続する監視に向けて
このパラドックスは民主的ガバナンスにも及んでいる。AIシステムは公共行政でますます使われているが、それらを統治する責任を負う選挙で選ばれた機関は、翻訳のギャップに直面している。すなわち、これらのシステムの技術的現実は、民主的な審議の言葉に容易には変換されないのである。
EUレベルでは、AI Officeは、その専門知識の多くを、まさに規制対象である組織から得なければならない。これは何らかの陰謀によるものではなく、この分野に組み込まれた能力の非対称性によるものだ。
監視のパラドックスは、AIの導入に反対する論拠ではない。人間による監視が自ずと維持されると想定することに対する反論である。注目に値する方向性は三つある。
人間が関与する（human-in-the-loop）規則において、形式より実質を。監視規定は、単にレビュー担当者が手続き上存在することではなく、システムを覆す能力が実際に示されることを求めるべきである。
能力の計画的な維持。パイロットが定期的に自動操縦なしで飛行しなければならないように、AIで強化された役割に就く知識労働者には、システムを使わない体系的な実践が必要である。それは個人の善意の問題ではなく、組織としての要件として扱われるべきである。
民主的制度における橋渡し役。モデルが実際に何を行っているかを理解し、それを公的な説明責任の枠組みに翻訳できる人材。そうした人材は数が足りず、その育成は喫緊の統治上の優先課題である。
あらゆる組織、規制当局、立法機関が問うべき問いは、人間がループに関与しているかどうかではない。その人間が、AIなしでも依然として職務を遂行できるかどうか、そしてその能力が積極的に維持されているかどうかである。
今日の多くのケースでは、率直な答えは「できない」である。監視者が補助なしでは作業を行えなくなった時点で、監視はもはや安全装置ではなく、単なる署名になってしまう。最終的にすり抜けた誤りを見抜けるのは、それを見抜くのに十分な知識をまだ持っている人物だけである。その人物を、そのスキル、実践、判断力とともに守ることこそが、AIを適切に統治することのすべてになりつつある。
