2027年までに、エージェント型AIプロジェクトの40%超が中止されると予測されています。その理由には、価値の不明確さとコストの上昇が含まれます。
仕入先請求書を処理する企業向けシステムの管理下テストでは、最も高性能で最も高価な構成が最下位に終わりました。
特定のタスクに合わせてモデルを選定し、構成要素を一つずつではなく組み合わせてテストすることは、最上位の性能層を購入することより重要です。
エージェント型人工知能（AI）とは、各段階で指示を待つことなく、自ら計画して行動するソフトウェアです。2026年の企業テクノロジーにおける注目の話題です。2027年には、最も高価な失望の対象になるかもしれません。
Gartner2027年までに、エージェント型AIプロジェクトの40%超が中止されると予測していますと指摘しています。その理由として、事業上の価値が不明確であること、コストが上昇していること、リスク管理が不十分であることを挙げています。現在、あらゆる組織が、エージェント型AIへの最初の本格的な投資先を選んでいます。しかし、公開された証拠がほとんど存在しないため、根拠に基づいて選択している組織はごくわずかです。ベンダーの主張は豊富にありますが、管理下での比較はまれです。
こうした証拠を生み出すために、マサチューセッツ工科大学の筆者とその共著者が研究を主導しました。年間750億ドル超の仕入先請求書を処理する世界的企業と協力し、請求書の誤りを自律的に調査して解決し、解決できない場合は担当者にエスカレーションするAIエージェントのシステムを構築しました。その後、同じ44件のテスト請求書に対して4つのモデル構成を実行し、正確性、消費された計算量、所要時間を測定しました。
この結果は、今日のほとんどの導入判断の前提に反するものでした。その前提とは、利用可能な最も高性能なモデルを選ぶことが安全な選択である、というものです。これを「能力の罠」と呼びます。
能力の罠は仮定の話ではありません
プレミアム構成は、利用可能な最も強力な推論モデルとプレミアムな文書読解モデルを組み合わせたものでしたが、最下位となりました。人の手を借りずに請求書の91%を解決しました。低予算構成は95%に達しました。適切に組み合わされた中位構成は44件すべてを解決し、使用したモデルの価格はプレミアム層のごく一部でした。
すべての失敗は、一つのタスクで発生しました。重複請求書の特定です。このタスクでは、2件の請求書が一致するかどうかを判断するために、AIは互いに競合する5つの個別のルールを同時に評価する必要がありました。最も高性能なモデルは、むしろ慎重すぎました。境界線上の一致について判断を保留しましたが、より制約のあるモデルであれば単純に指摘していたものです。生のモデル性能は紙の上では評価しやすいものの、特定の業務への適合性は評価しにくく、実際に結果を左右したのは業務への適合性でした。
44件の請求書というサンプルは確かに小規模であり、これらの結果は最終的なランキングではありません。しかし、性能は当然のものとして想定できないことを明らかにしています。実際、評判だけで誰もが選んだであろう構成が、結果として最下位になりました。
能力の罠を生む3つの要因
なぜ高性能な構成がこの罠に陥るのでしょうか。当社の調査結果は、主要な要因として3つを指摘しています。モデルの過剰思考、構成要素の不一致、そして不必要な構造的複雑さです。
必要のない過度な精緻化
大規模モデルは、より長く、より多くの留保条件が付いた推論を生成する傾向があります。自由度の高い問題では、これは強みとなります。しかし、単純なルールベースのチェックでは、より単純なモデルが明快に結論を出せる判断に疑念を持ち込みます。重複検出のテストで問題が起きたのは、まさにこの点でした。
一致しない構成要素
最も有用な結果は、コスト削減を目的とした構成から得られました。この構成では、プレミアムな推論エージェントを維持しつつ、文書を読み取るためにより安価なモデルに置き換えました。結果は逆効果でした。同じエージェントを実行したところ、この構成では請求書1件あたり約68%多くの計算量を消費しました。エージェントが本来の作業を始める前に、抽出された乱雑なテキストの整理に推論を費やしていたためです。ある段階での節約が、次の段階での損失となったのです。ある業界分析が述べたように、ゴミを入れれば、ゴミのようなエージェントが出てくる。自律型システムは、その上流にあるすべてのものの品質を引き継ぎます。
不必要な構造的複雑さ
3つ目の結果も同じ方向を示しています。同一の入力で2つの設計をテストしました。一つは、エージェントが固定された順序で実行される単純なパイプラインです。もう一つは、より高度な設計で、監督役が各出力を確認し、別の試行のために作業を差し戻すことができるものです。高度な設計は処理が遅く、より多くの計算量を消費し、同じ正確性しか達成できませんでした。一方の設計で解決でき、もう一方の設計では見逃したケースは一件もありませんでした。
ここで重要な留保があります。テストに使用した請求書には明確に定義された誤りが含まれていました。人間のチームが最も難しいと感じる、真に曖昧な例外においては、再試行できることが決定的な要素となる可能性があります。しかし、複雑さは、深刻に見えるからではなく、測定された問題がそれを必要とするから加えるべきです。
実際に価値がある場所
調査対象となった世界的企業では、ある地域部門は請求書の97%を人の介入なしに処理している一方、別の部門はわずか67%にとどまっています。この30ポイントの差を埋めることができれば、年間数十万件の請求書が人手を介さない処理に移行するでしょう。その障壁は些細なものです。複数の通貨にまたがる複数の銀行口座を持つ仕入先、一貫しない税務処理、既存システムでは扱えない貸方票などです。これらは、ルールベースの自動化がこれまで行えなかった文脈に即した判断であり、欧州連合を含む各法域が義務的な電子請求書発行へ移行するにつれ、その数は増えていくでしょう。
より広範な証拠も同じ方向を示しています。MITのProject NANDAによる研究は、Fortuneが報じたもので、300件の公開された導入事例を、事業責任者へのインタビューや調査とあわせて検証しました。その結果、約20件のパイロットのうち1件のみが急速な収益増加をもたらしていることが分かりました。研究の著者は、この差はモデルの性能が低いことではなく、ツールが変えることを意図したワークフローとの適合性の低さに起因すると分析しています。この知見には議論があり、正確な割合についても異論があります。しかし、その方向性は否定しにくく、当社の観察とも一致します。成功は、AIモデルそのものの生の性能よりも、その周囲に構築されたシステムに大きく依存していたのです。
インタビューした財務責任者たちは、自律型の組織は望んでいないと明言しました。彼らが望んでいたのは、AIが支援する組織でした。当社のシステムはこの要件に基づいて構築されました。すべての推論ステップを監査用に記録し、問題を解決できない場合は、単独で行動するのではなく、要約と推奨される対応策を作成し、担当者が確認できるようにします。導入当初から組み込まれたガバナンスは、事故後に後付けされたガバナンスよりもはるかに低コストで済みます。
購入より、テストが重要
能力の罠は、エージェント型AIの導入に反対する論拠ではありません。能力を証拠の代わりとして扱うことに反対する論拠です。導入判断の多くを変えるには、次の2つの習慣が役立ちます。
公開されたランキングではなく、特定のタスクでベンチマークを行う。一般的なリーダーボードで首位に立つモデル層が、実際に必要とされる限定的な業務では3位に終わる可能性があります。それを知る唯一の方法は、実際に実行することです。
リンクではなく、連鎖全体をテストする。エージェントは構成要素の連なりであり、一つの要素を単独で改善しても、システム全体のコストや信頼性についてはほとんど何も言えません。
この2つの習慣は、より早い段階で行われる3つ目の選択に依存します。それは、結果を測定できるほど問題の範囲を狭く設定することです。野心的なパイロットは物語を生み出します。範囲を絞ったパイロットは証拠を生み出し、予算の見直しを生き残るのは証拠です。
Gartnerが予測する40%の失敗率を回避する組織は、最も速く動いた組織や、最も高性能なモデルを購入した組織ではありません。構成要素を組み合わせてテストし、判断が真に重要な局面では人を関与させ続けた組織です。当社自身の結果は、意図的に小規模な問題から得られたものであり、3つの知見はいずれも当初の予想に反するものでした。この種のテストを経ずにエージェントを導入することは、技術上の判断ではありません。予算を付けた推測にすぎません。
本記事は、MITの交通・物流センターにおいて、共著者とともに行われた修士論文の研究に基づいています。依頼により、後援組織の名前は明記していません。
