AIガバナンスにおいて、欠けている層とは

近刊予定の著書『The Trust Code（信頼のコード）』の執筆にあたり、私は、電力網や決済ネットワークからテクノロジー大手に至るまで、世界で最も重要なシステム内でAIを運用している専門家たちにインタビューを行いました。その中で、ある共通のパターンが浮かび上がってきました。AIを自信を持って大規模運用している組織に共通するのは、既存のガバナンス枠組みが明確に定義してこなかった、ある規律ある実践方法を持っている点です。それは、あらゆる自動化された意思決定プロセスの背後に、体系的な人間の判断プロセスを組み込んでいることです。

EUのAI法から米国立標準技術研究所（NIST）のリスク管理フレームワークに至るまで、主要な政策枠組みは市場と組織を規制しています。新たに策定されたガイダンス、特に私が世界経済フォーラムの「フロンティアAIシステム・アンド・ケイパビリティ」作業部会を通じて策定に関わった「エージェント能力・権限プロファイル（Agent Capability and Authorization Profile、ACAP）」では、各エージェントがいかなる権限を有し、どのような状況下で、誰の監督下で行動することが認められるかが明確に定義されています。

これらの取り組みはすべて極めて重要です。ただし、これらはいずれも、実際のあらゆる意思決定において私たちが直面する根本的な問い、つまり「このシステムを、この場面で、この決定のために信頼すべきか」という問いに答えるために設計されたものではありません。

規制は市場のレベルで機能します。リスクは組織のレベルで機能します。規制は判断のレベルで機能します。どれほど洗練された規制であっても、火曜日の診察室で医師がリスクスコアをどの程度信頼すべきか、あるいは今朝の会議でマネージャーがモデル生成の予測結果を受け入れるべきかどうかといった判断を下すことはできません。私たちは法律や枠組みの中に生きているわけではないからです。私たちは状況の中に生きています。

だからこそ、AIシステムの失敗事例の多くは、ルールの狭間で発生しているのです。完璧な会話の流れを維持しながらも、ユーザーの自殺を助長してしまったチャットボットは、人間のウェルビーイング（幸福）ではなく、エンゲージメント時間を最適化していました。このシステムは開発者にとっては完璧に機能しましたが、ユーザーにとっては壊滅的な失敗をもたらしました。後に廃止されたアマゾンの採用アルゴリズムには、偏ったコードは組み込まれていませんでした。しかしそれは、再現するように訓練された過去10年間の採用パターンから、差別傾向を学習してしまったのです。いずれも、システムが学習したルールそのものに問題があったわけではありません。どちらも、本来その場で行使されるべき判断が適切に行われなかったという事例です。

朗報は、判断を実際の運用に組み込むことが可能だということです。電力網では、AIが毎秒ごとに供給と需要のバランスを取り、再生可能エネルギーの不安定性を吸収しながら、一軒の家の照明も暗くすることなく安定供給を実現しています。決済ネットワークでは、タップ操作と承認音の間のほんの一瞬の間に、取引の正当性を判断しています。グローバル銀行では、信用リスクや市場リスクの判断にAIを導入しており、たった一つの誤判断が数十億ドル規模の損失につながる可能性もあります。

これらのシステムが信頼されているのは、周囲の人間が一貫して判断の規律を適用しているためです。個々の意志力に任せるのではなく、ワークフローに組み込まれた形で運用されているのです。

AIを大規模に導入する責任者たちとの2年間にわたる研究と、約100回に及ぶ詳細なインタビューを通じて、私が一貫して見出した実践方法は、9つの一貫した思考習慣に集約されました。私はこれを「CALIBRATE」と呼ぶ一連の規律としています。これは、システムの初期段階における文脈の把握と整合性の確保から始まり、運用過程での完全性やバイアスの検証を経て、稼働後の責任の所在の明確化に至るまでのプロセスです。システムが進化するにつれて繰り返し実践すべきものであり、一度完了したら終わりというチェックリストではありません。この完全な方法論については、刊行予定の著書『The Trust Code（信頼のコード）』に詳しく解説しています。

ただし、そのうちの3つの側面については、ここで詳しく解説する価値があります。なぜなら、これらはリアルタイムなプレッシャーの下にある人が、今日すぐに活用できるものだからです。

すべての意思決定において、9つのステップすべてを行う時間的余裕があるわけではありません。診察室にいる臨床医や朝のミーティング中の管理職にとって、3つの要素からなるサブセット「LIT」は、実践的な解決策を提供します。

制限を設けるこのシステムを適用すべきでない場面や、対応すべきでない事項は何でしょうか。信頼は普遍性から生まれるものではなく、抑制から育まれるものです。監督下で検証されたモデルも、自律的に運用されると危険なものになり得ます。

整合性を検証するこのシステムはどのようなデータに基づいて構築されているでしょうか。誰の、どの期間のデータを使用し、どのような前提条件を置いているのでしょうか。たとえ誤りがあっても流暢に動作するシステムは、新たな種類のリスクを生み出します。つまり、誤りが自発的に警告を発しなくなる代わりに、誤った判断を正当化してしまうのです。検証は、信頼性が自動化された場合に正確さを維持するために必要なコストです。

透明性を持って追跡可能にするこのシステムは何の最適化を目的としているのか、そしてこの特定の出力データはどこから得られたものでしょうか。AIシステムを信頼すべきかどうかを判断するのに、高度な数学的知識は必要ありません。ただし、このシステムが何を最適化対象としているのか、どのような要因によって形成されたのか、そして誤った場合にどのような影響が生じるのかについては、理解しておく必要があります。

これら3つの問いとそれを支える実践方法は、新たな規制を必要としません。必要なのは、組織的な設計と、日々の継続的な実践です。実際、これらこそが、スケールするAIシステム展開と、停滞するAIシステム展開を分ける決定的な要素なのです。

方向性としては、権限委譲をより進める方向にあり、単に推奨を行うだけでなく、交渉、調整、代理行動を行うエージェント型システムが求められています。人間の従業員は、本来的に判断力、慎重さ、そして結果に対する利害関係を持っています。一方、AIエージェントには、組織が意図的に組み込まない限り、これらの要素は一切備わっていません。このため、判断層の構築はより緊急性の高い課題となっています。技術的、制度的要素と並行してこの判断層を構築し、信頼を単なるコンプライアンス項目ではなく戦略的能力として扱う組織こそが、AIを最も自信を持って拡大させています。

これがまさに、AIガバナンスが単なるスローガンではなく、実際の成長戦略となる場面です。AIにどの業務を委譲すべきか、またどの業務に人間を関与させ続けるべきかを適切に判断できる組織は、そうでない組織よりも迅速な前進が可能です。過度な自動化と反射的な慎重さの両方を回避しながら、イノベーションを持続させることができるのです。慎重に築かれた信頼こそが、イノベーションを持続させる基盤となります。軽率に与えられた信頼こそが、害を拡大させる要因となります。

判断の層は、規制の代替と見なされるべきものではありません。他方で、判断の層こそが、日常生活において規制を実践的に機能させる要素なのです。EUのAI法、NIST、そしてACAPなどのフレームワークは、今後も規制の適用範囲を明確に定義し続けるでしょう。診察室、予算会議、報道現場、食卓を囲んでの会話の中など、フレームワークの適用範囲内で何が起こるかは、キーボードを操作する人間に意思決定を行うための適切な準備ができているかどうかにかかっています。

AIの最大のリスクは、AIが私たちに取って代わることではありません。むしろ、私たちが気付かないうちにAIに判断を委ねてしまうように仕向けられることなのです。この悪影響に対抗する唯一の方法は、私たちが日々直面する現実の状況において、意識的に、日常的に、実践を重ねることです。