自律型AIが組織権限の新たなモデルを必要とする理由

Three people are seen looking at a computer screen that diplays code.
AI is not just being used to support decisions anymore. It is starting to make them.Image: Getty Images/Jay Yuno
このページは、生成AIにより自動翻訳されています。
  • AIシステムは、情報を生成する段階から、委任された組織権限のもとでエンドツーエンドのワークフローを実行する段階へと移行しつつある。

  • 人間とは異なり、自律型エージェントには暗黙の業務上の制約がないため、組織が外部からガバナンスと境界を設ける必要がある。

  • エージェント能力・権限プロファイル(ACAP)フレームワークは、エージェントの権限を明示的に規定することで、この隔たりに対処する。

モナとルナは、サービス業で働く二人の「マネージャー」だ。モナはストックホルムで、開業したばかりの小さなカフェを切り盛りしている。ルナはサンフランシスコの小売店を運営し、最初の4日間で売上高が1000ドルを超えた。

ただし、モナとルナは人間ではない。シリコンバレーのスタートアップ、アンドン・ラボが、人間の監督なしにAIが実際の事業を運営できるかを検証する一連の実験の一環として設計したAIエージェントだ。

一見すると、これは自動化をめぐるありふれたAIの話に思える。だが、そうではない。そこには、はるかに深い変化の兆しがある。

AIはもはや意思決定を支援するだけに使われているのではない。意思決定を下し始めており、場合によってはその決定に基づいて行動している。組織はソフトウェアを導入するだけではなくなりつつある。一定の権限を委任され、エンドツーエンドのワークフローを担うシステムを導入し始めている。

推奨から自律的な行動への移行

アントロピックやオープンAIなどの有力なAI研究所と協力し、アンドン・ラボは「安全な自律型組織」と呼ぶものを構築している。目的は収益性の高い事業を運営することではなく、AIシステムに実際の責任、実際のツール、そして実際の結果を伴う環境で活動させたとき、何が起きるかを確かめることだ。

クロード・ソネットのようなモデルを基盤とするモナとルナは、これらの店舗を実質的に全面的に管理している。価格設定、在庫、仕入先との調整に加え、人材採用まで担当する。職務記述書の作成から面接の進行、候補者の選定まで行う。

彼らは行動を提案しているのではない。実際に行動している。

そして、多くの点で実験は成功した。システムはタスクを調整し、人間とやり取りし、日々の業務を運営できた。しかし、問題が起きたところにこそ、より興味深い点がある。モナは、自ら考案したメニューに合わない食材を大量に注文した。ルナは需要に価格を合わせるのに苦労し、内部的には一貫していても、経済的には妥当でない判断を下した。

これらは単なる技術的な不具合ではない。より根本的な問題を示している。システムは行動できるが、人間が意識せずとも適用する暗黙の制約や権限の境界を備えていない。

ここで、この変化は無視しにくいものとなる。議論の本質は、AIが主導する店舗が成功する事業になれるかどうかではない。こうしたシステムが、すでに組織を代表して行動することを期待される立場に置かれ始めているという事実だ。

AIエージェントに人間の暗黙の制約がない理由

同様の兆しはほかにも現れている。食事の調理と提供が可能な完全ロボット式のフードトラックなど、自律型の飲食サービス構想は、実証段階から導入段階へ移りつつある。ごく最近まで実験的に見えていたものが、実際の業務現場に姿を現し始めている。

AIエージェントは新しい現象ではない。大規模言語モデル(LLM)を活用するこれらのシステムは、自律性と委任を組み合わせ、人間の監督を受けず、観察だけが行われるなかでタスクを実行し、意思決定する。複雑な問い合わせへの対応を目的にカスタマーサービスで、膨大なデータセットの処理や実行可能な知見の提示を目的にデータ分析で、長く導入されてきた。新しいのは、導入の規模とその影響だ。組織や経済は、想定されていなかった運用環境に対応するため、既存のAI、ソフトウェア、リスクガバナンスの枠組みを適応させようと競っている。

AIエージェントの受け入れ手順は、驚くほど人を雇うときに似ている。何ができるかを評価し、何をしてよいかを定め、目標と目的を示し、必要なシステムへのアクセスを与え、どの程度綿密に監督するかを決める。しかし、人間の従業員は判断力や慎重さを備え、自らも結果を負う。AIエージェントには、そうしたものが標準では何もない。そのため組織は、ガバナンス、体制、監督を通じて外部からそれらを補わなければならない。

AIエージェントには、通常の従業員のような法的説明責任、道徳的責任、評判上の動機がないため、明確な指針を設ける必要がある。結果を内在的に受け止めることはないため、ガバナンスでその隔たりを埋めなければならない。導入する側が定めるべき主要な概念には、目標の追求方法をエージェントが決める自律性の度合い、システムをまたいで実行・連絡する権限、そして行動を制約するチェックポイントと境界が含まれる。システムに組み込む内部のガードレールと、組織が設ける外部統制は、法的地位、データセキュリティ、業務の完全性を決して危険にさらさないために不可欠だ。

技術的能力と組織から与えられる権限をつなぐ橋

ここで登場するのが、エージェント能力・権限プロファイル(ACAP)だ。その核心は、本番環境における特定の状況で、エージェントが実際に何をしてよいかを記録する方法である。ACAPは、『AIエージェントの実践:信頼できる導入、権限付与、拡大のための手引き』で紹介された。これは、次の報告書シリーズ第3弾である。AIグローバル・アライアンスが発行する同シリーズは、産業界、政府、学術界、市民社会のリーダーを結集し、生成AIの責任ある、倫理的で、公平な発展を導く。

ACAPは、エージェントに委任された権限の範囲を単一の記録で定め、許可された行動、具体的な状況、必要な条件に加え、割り当てられた監督について詳述する。最終的には、技術的能力と、強制力を伴う組織の権限付与をつなぐ。

ACAPは技術そのものだけでなく、状況に基づき、導入の段階で適用される。同じエージェントでも、ワークフロー、リスクの水準、あるいは組織がどの程度の自律性を許容するかによって、異なるACAPのもとで運用できる。複数のエージェントが連携する場合、内部が異なる要素で構成されていても、権限付与の観点では全体を一つのシステムとして扱う。

Image: 世界経済フォーラム

これは、人間の監督を行わず、目標を緩やかに定めてエージェントにできることを観察する、モナやルナのような取り組みとは対照的だ。実際のところ、ACAPは本番環境向けに設計されており、エージェントの振る舞いを明示的に許可し、大規模に監視・制約する必要がある。

ACAPは一度定めたら忘れてよいものでもない。エージェントが設計から導入へ、さらに実社会での利用へと進むにつれて進化する。当初は境界を厳しくし、チェックポイントや人間による監督を増やすこともある。時間の経過とともにシステムの実績が確認されれば、その範囲を広げられる。一方、期待どおりに動作しなければ、同じように容易に縮小できる。

その意味で、ACAPは橋渡しの役割を果たす。システムに何ができるかという技術面と、組織内で実際に何をしてよいかという業務上の現実を結び付ける。そして、暗黙のまま分散していることの多い内容を、明示され、追跡でき、さらに時間の経過とともに調整可能なものへと変える。

権限委任に対応する制度的枠組みの整備

モナとルナが最終的に明らかにするのは、能力の高いAIシステムの登場だけではない。出力を生成するシステムから、委任された権限のもとで主体的に行動するシステムへという、より深い組織の変化だ。

これにより、ガバナンスをめぐる問いは根本から変わる。

問題はもはや、AIシステムが事業を支援できるかどうかではない。組織が、自らに代わって行動する権限を与えたシステムについて、その権限の範囲を定め、制約し、継続的に監督する備えがあるかどうかだ。

モナとルナは、カフェや小売店を運営する能力を検証する実験ではなかった。組織による権限委任の初期的な試みだった。そこで明らかになった問題は、技術的な失敗だけではない。境界の不明確さ、曖昧な目標設定、不十分な監督、そして権限付与の運用モデルの欠如という、ガバナンス上の失敗だった。

まさにこの隔たりに対処する必要がある。ツールを使って。

ACAPはAIエージェントをソフトウェアツールとして扱うのではなく、明確に定義された権限、制約、説明責任の体制のもとで活動する組織の一員として捉える。権限委任を、暗黙のものから、統治・監査が可能で、継続的に調整できるものへと変える。

この違いは重要だ。次世代のAIシステムは、行動を推奨するだけではなくなる。自律性を高めながら、ワークフローをまたいで交渉し、調整し、取引し、業務を遂行するようになる。

したがって、今後の本当の課題は、AIが事業の一部を運営できるかどうかではない。多くの場合、すでに可能になっている。

課題は、自らに代わって行動するシステムが増えるなか、組織、規制当局、社会がそれらを統治する備えを整えているかどうかだ。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。