AI実体化か、それとも混沌をもたらすエージェントか?フィジカルAIを守る方法

undefined
このページは、生成AIにより自動翻訳されています。
  • フィジカルAI製品は、無数のサイバーセキュリティ上の抜け穴があるにもかかわらず、市場に投入されつつある。

  • 物理デバイスにおけるエージェント型AIのセキュリティ手順は、現在、AI安全性研究、従来型サイバーセキュリティ、ロボティクス工学の狭間に取り残されている。

  • フィジカルAIの価値連鎖に関わる全ての関係者が、このセキュリティ上のギャップの解消に着手するために、直ちに取れる3つの行動がある。

英国ケンブリッジにあるCapgeminiのラボでは、最近購入された業界最先端のヒューマノイドロボットが、筐体を開けたままベンチの上に置かれていた。チームは1週間かけてその内部を調べていた。その結果、検査できない基幹の搭載コンピューターが見つかり、ロボットの製造国にあるサーバーへの持続的な接続が複数確認され、音声をクローズドソフトウェアに流し込むマイクロフォンアレイが存在し、さらに既に公開されてカタログ化されているコマンドインジェクションの欠陥を含むBluetoothスタックがあった。つまり、攻撃者は誰でもそれを検索して悪用できる状態だった。チームはロボットを所有していた。それでも、ロボットが何をしているのかは見ることができなかった。

封じ込められたラボ環境でも十分に安全と言えるセキュリティ体制にするために、チームは別個の処理プラットフォームを導入し、マイクロフォンを物理的に切断し、カメラを交換し、オープンソースソフトウェアを動かすポータブルルーターを用いた自己完結型のネットワークを構築し、製造元や本国への通信を全て遮断するファイアウォールルールを記述しなければならなかった。

これは新しい構成ではなく、プラグアンドプレイとして販売されている、物理的な身体を持つエージェント型AIデバイスに対する再建手術である。これがフィジカルAIにおけるセキュリティ体制のギャップであり、ほとんどの購入者はそこにギャップがあることすら知らない。

数学と現実

多くの点で、上記のシナリオは、接続されたIoT機器において数十年にわたり見られてきたセキュリティ課題の最新版として、サイバーセキュリティの専門家にはお馴染みのものだろう。しかし、フィジカルAIの複雑性が増すほど、その影響は大きくなる。Signal Foundationの会長であるMeredith Whittakerは、AIエージェントに関する「最近の対談」で、次のように厳しい指摘を行った。AIエージェントが1ステップあたり95%の精度で30ステップのタスクを実行する場合、そのタスクを完全に成功させる確率は0.95^30、約21%である。

CMUのAgent Companyベンチマークは、現実的な複数ステップのオフィス業務においても同じパターンを示している。個々のステップを適切にこなすモデルであっても、ステップが積み重なると、タスク全体では失敗する。テキストベースのエージェントが途中で失敗しても、最悪の場合、無駄になった作業を見つけてやり直せばよい。フィジカルAIでは、同じ積み重ね効果によって、ロボットが誤認識する、物を落とす、衝突する、人間を危険にさらす。

現代のほとんどのロボティクスで使われるソフトウェアフレームワークであるROS2の上にこれらのエージェント型パターンを重ねると、積み重ねの問題はさらに悪化する。Alias Roboticsは、約15件の危険な脆弱性を、ロボットの各部が指示や状態更新をやり取りする通信層で文書化している。これは産業用ロボット、病院システム、軍事プラットフォームを含む約650台の機器に影響する。セキュリティ業界の標準的な攻撃手法カタログを管理するMITREは、接続されたシステムから次のシステムへAIエージェントが飛び移ることを、現在は主要な手法の一つとして挙げている。6つの異なるセキュリティフレームワークが、独自に同じ結論に達している:AIエージェントは、周辺的にリスクを少し加えるのではなく、システムが攻撃されうる経路の全範囲を拡大する。

ロボット時代における人間の役割の変化
ロボット時代における人間の役割の変化
01:46

3つのコミュニティ、欠けている1つの規律

エージェント型のレッドチーミングとは、セキュリティチームがネットワークを調べるのと同様に、AIエージェントを敵対的に、継続的に調査する実践であり、他者より先にシステムを破壊することを目的とする。この用語が生まれてからまだ2年ほどしか経っておらず、テキストベースのエージェントであっても、その規律は十分に体系化されていない。ロボット、自動運転車の車両群、その他の形態のフィジカルAIに適用すると、それは基本的に白紙の状態である。

3つのコミュニティがそれぞれ解決策の一角を担っているが、いずれも全体像を把握してはいない。AI安全性研究者は、これらのシステムが何をできるか、そして設計者の意図どおりに振る舞うかどうかに注目している。サイバーセキュリティは、ネットワークとデータを懸念する。ロボティクス工学は、運動学と信頼性を中心に組織されている。

倉庫の床で周囲を認識し、指示を解釈し、ロボットアームを動かす単一のAIモデルは、この3つすべての交差点に位置する。ほとんどの組織では、その重なり部分を単独で担当するチームは存在しない。

5つの攻撃レイヤー

フィジカルAIのレッドチーミングのための実行可能なフレームワークはいずれも、攻撃がどこに到達するかを示す共通の地図から始まる。フィジカルAIの価値連鎖全体にわたる5つのレイヤーがある:

  • まずセンサーがある。GPS、LiDAR、カメラ、マイクロフォンは、モデルに一切触れることなく、なりすまし(スプーフィング)を受けうる。

  • 次はモデル自体である。ビジョン・ランゲージ・アクション・システムは、敵対的パッチや、通常の機能に目立った影響を与えない隠れたバックドアに対して脆弱であることが実証されている。そのため、隠れた振る舞いが作動するまで、システムは健全に見え続ける。

  • 通信が第3のレイヤーを形成する。これは現代のロボティクスの大半を動かすミドルウェアであり、ROS2の欠陥が存在する場所である(すなわち、ロボットのセンサー、モーター、制御システムがメッセージをやり取りする方法における弱点)。

  • 次にサプライチェーンがくる。ハードウェアトロイの木馬、汚染された学習データ、不透明な基幹コンピューターが存在する場所である。

  • 最後に、その全体の上に位置する指示レイヤーがあり、会議の文字起こし内に埋め込まれたプロンプトインジェクションが、原理的にはモーターコマンドになりうる場所である。

各レイヤーには異なる防御の規律と、異なる実践者コミュニティがある。現在、これらのいずれも、構造的または体系的な方法で相互に連携していない。その結果、セキュリティリスクは不釣り合いに最終ユーザーへ押し付けられている。これこそ、フィジカルAIの正式なレッドチーミングの実践が最初に解決すべき課題である。

人間のオペレーター

これはめったに議論されない脆弱性である。現在使用されているフィジカルAIの多くは、遠隔支援オペレーターに依存している。何か問題が起きた場合に介入するため、遠隔操作センターに配属された人間のことである。

自動運転車(AV)業界を考えてみよう。米国国家運輸安全委員会(NTSB)による最近の調査では、Waymoの車両が、遠隔オペレーターからの誤った指示に従い、停止標識を出した状態で停車中のスクールバスを通過したことがわかった。これは全ての州で違法な操作である。公的な議論では、車が安全でない人間の入力を覆すと想定されていた。しかし、この事例では、そうはならなかった。

2026年2月、米国のEd Markey上院議員はこの現象を調査した。全てのAV企業は、自社の車両が人間による遠隔対応を必要とする頻度の開示を拒否した。Waymoだけが、遠隔オペレーターのかなりの割合がフィリピンに所在していること、またその全員が米国の運転免許を保有しているわけではないことを認めた。Teslaは、遠隔オペレーターが時速10マイルまでの速度で車両を遠隔操作できることを認めたが、介入の頻度の共有は拒否した。

同じパターンを、セキュリティロボット、倉庫の自律移動ロボット(AMR)、そして現在企業向けに販売されているヒューマノイドにも当てはめてみよう。遠隔操作されたロボットが周囲を監視し、そこに作用するのは、まさにその職務を果たしている状態である。危険なのは、その能力に他に誰が到達できるかである。「ロボット」が実質的には、別の大陸からカメラを通して見ている人間であり、その人物の接続が安全でない、または作業端末が侵害されている場合、ライブのカメラ映像と操作権限は、侵入した者なら誰でも突然利用できるようになる。これにより、その機械は、たまたま近くにあるものを対象とした遠隔監視・操作ツールへと変わってしまう。これは例外的なケースではない。フィジカルAIのラベルの下で出荷されているものの大部分にとっての、標準的な運用モデルである。

今後90日間の3つの実践

フィジカルAIは到来しつつあり、資本は投じられ、戦略的な圧力も現実のものである。同時に、セキュリティ体制も体系的かつ学際的な方法で構築される必要がある。エンドユーザーが今後90日以内に取れる行動は3つあり、フィジカルAIが調達または試験導入される場所であればどこでも、より良いセキュリティへの需要シグナルを生み出すためのものである:

  • 新しいロボットを機密性の高い環境に導入する前に、監査可能な基幹コンピューター、全ての外部接続の文書化されたリスト、そして第三者が再現可能な、物理的およびソフトウェアの完全な検査を求めること。

  • 遠隔オペレーター層を規制された管理ポイントとして扱い、システムの他の安全上重要な部分と同様に統制すること:オペレーターが誰か、どこにいるか、どのような資格情報を持つか、その作業端末がどのように保護されているか。

  • 米国国立標準技術研究所(NIST)が、その「AIエージェント標準イニシアチブ」を通じて現在定義している原則を拡張すること。その原則には、実行の隔離、最小権限、監査可能性が含まれ、ソフトウェアエージェントから、それが制御するロボットにまで及ぶ。

NISTは2026年2月に、エージェント型システムのセキュリティに関する正式な情報提供依頼とともにこのイニシアチブを開始した。AnthropicとOpenID Foundationは、既に回答を提出している。しかし、この作業のうち、身体性を持つシステム(ロボット、自動運転車、フィジカルAI)を対象とするものはまだない。そのギャップは自然に埋まることはない。誰かが推進しなければならない。

フィジカルAIには、技術と並行してセキュリティを組み込む機会の窓が開いている。それには全員の協力が必要であり、ハードウェアを製造する相手先ブランド製造業者(OEM)から、それを設置・接続するシステムインテグレーター、さらにエンドユーザーや標準化団体に至るまでが関わる。それは、何十年にもわたりセキュリティが事後的に後付けされてきた業界からの、決定的な決別となるだろう。

フォーラムがリーダーのAI理解と責任あるイノベーションに向けた協働を支援する方法

AI卓越センターは、各分野のリーダーをつなぎ、人工知能の急速な進化と、その経済や社会への影響を理解するための支援を行っている。AI導入に関連する機会、リスク、トレードオフについて、十分な情報に基づく対話を支援している。

信頼できる場と協働イニシアチブを通じて、センターはパートナーが共通理解を構築し、AIのイノベーションと利用に対する責任あるアプローチに向けて共に取り組めるよう支援している。

センターの活動を見る

しかし想像してみてほしい。家庭、工場、病院、道路、空域にあるロボットが、セキュリティやプライバシーの惨事を待つ存在ではなく、信頼できるアシスタントとなる世界がもたらす恩恵を。フィジカルAIに関わる調達、試験導入、または投資の委員会に加わっているなら、次に署名する契約にその3つの要件を盛り込んでほしい。その次の次の契約ではなく。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。