AIのリスクは増大しており、しかも、アルゴリズムが研究所での安全性試験を通過した直後に顕在化するケースが増えている。このリスクを管理するには、協力が不可欠である。
人工知能（AI）システムが実験室でのテストには合格したものの、現実世界で被害をもたらした場合、誰が責任を負うべきなのか？
AIは、その長期的な影響が完全に理解される前に大規模に展開された、これまでで最も強力なテクノロジーの一つです。自律システムが現実世界のデータ、ツール、ユーザー、運用システムと相互作用する速度と規模が急速かつ大規模であるため、展開後も新たな機能や障害モードが次々と発生し、その影響を事前に評価することが困難になるという、特有の課題を抱えています。
AI関連の事故やニアミスが増加する一方で、報告や教訓の共有はそれに追いついていない。 指導者、政策立案者 そして 科学者 最先端のAI開発のペースを遅らせることから、独立した評価の強化や国際協力の促進に至るまで、様々な対策が求められている。
ここで疑問が生じる。AIの機能とそのリスクがまだ進化している段階において、政府、開発者、システムインテグレーター、導入担当者は今、何をすべきなのか？
安全性に関する議論の多くは、最先端のAIモデルを開発する企業に集中している。しかし、AIの真の影響は、これらのモデルが研究室を出た後に何が起こるかにますます左右されるようになっている。
マルチエージェントAIシステムは、ツール、機密情報、または重要インフラに接続されると、エージェント、ツール、環境間の相互作用から生じる、実験室でのテストでは明らかにならないような創発的な機能や挙動を示す可能性があります。したがって、AIの安全性は、開発から統合、展開に至るまでのバリューチェーン全体を網羅する必要があり、そうしなければ重大なリスクが見過ごされ、対処されないままになる可能性があります。
一つの失敗が多くの失敗につながるとき
公に記録された事例は、AIのリスク、特にAIが業務に統合されたり、外部ツールと接続されたり、より大きな権限を与えられたりした場合に発生する障害については、全体像の一部しか示していません。このような可視性の欠如は、障害が孤立した状態では済まないため、重要な問題となります。
共有AIモデル、コンポーネント、サービスは、複数の組織、システム、セクターを同じ脆弱性にさらす可能性があります。これらは国境を越えるため、単一の欠陥が国際的な影響を及ぼす可能性があります。例えば、AIの障害によって機密情報が漏洩したり、不正な取引が発生したり、取り返しのつかない医療上の決定に影響を与えたり、あるいはシステム全体が停止したりする可能性があります。
2024年には、 大規模なソフトウェア障害 この事例は、たった一つの欠陥が数百万ものデバイスや重要なサービスに混乱をもたらす可能性を示した。AIの故障ではなかったものの、共有モデル、コンポーネント、インフラストラクチャが連鎖的にリスクを拡大させる可能性を浮き彫りにした。被害の規模は、システムが実行できる機能、付与された権限、展開規模、そして障害の検出と封じ込めの迅速性によって左右される。
問題は、AIシステムが故障するかどうかだけではなく、そのような故障の影響がどれほど広範囲に及ぶかということである。
AIバリューチェーンの明確な地図、明確に定義された責任、そしてグローバルなAIエコシステム全体における透明性のあるインシデント報告がなければ、障害の性質、頻度、深刻度、影響範囲を理解することができず、また、それらをどのように防止し、封じ込めるのが最善なのかも分かりません。
フォーラムは、リーダーがAIを理解し、責任あるイノベーションで協力する上でどのように役立つか
の AIエクセレンスセンター 様々な分野のリーダーを結びつけ、人工知能の急速な進化とその経済・社会への影響を理解することを目的としています。また、AI導入に伴う機会、リスク、トレードオフについて、情報に基づいた対話を促進します。
当センターは、信頼できる場と協働的な取り組みを通じて、パートナー企業が共通理解を深め、AIの革新と利用に対する責任あるアプローチについて共に取り組むことを可能にします。
政策だけでは安全柵にはならない
政策、安全対策、行動規範、モデル評価は重要だ。しかし、それら単独では、AIシステムが予期せぬ動作をしたり、意図された権限を超えて行動したりすることを防ぐことはできない。
モデルはテストでは良好な性能を発揮するかもしれませんが、実際のツール、データ、運用インフラストラクチャに接続すると、異なる動作を示す可能性があります。これは、テスト環境やサンドボックスが、実際の展開環境の複雑さをほとんど反映していないためです。
AIの自律性が効果的な制御よりも速いペースで進歩するにつれ、モデルとシステムの安全性の区別は曖昧になってきている。安全対策は、システムの爆発範囲を制限し、予防、封じ込め、復旧を支援するものでなければならない。
組織は、アクセス制限を設定し、人間の承認を必須とし、AIシステムを停止できる機能を維持する必要があります。開発者は、機能と障害モードを公開し、独立した評価機関が、現実的な状況やシステムアップデートの下で安全対策が有効であるかどうかを検証する必要があります。
安全性は単に約束するだけでは不十分であり、実証されなければならず、そのプロセスに説明責任が組み込まれていなければならない。開発者、システムインテグレーター、導入担当者は、明確に定義された責任と、障害発生時の状況を再現できるほど詳細な記録を必要とする。組織は、影響を受けたシステムを調査、封じ込め、復旧し、必要に応じて停止できる体制を整えなければならない。
失敗を未然に防ぐ能力と同様に、失敗を封じ込め、そこから回復する能力も重要である。
共同行動のための3つの優先事項
これらの課題に単独で対処できる主体は存在しない。開発者はモデルの能力と限界を理解し、システム統合者と導入者はシステムの使用方法を決定し、独立した専門家は安全性の主張を精査し、政府は説明責任の枠組みを確立する必要がある。
3つの優先事項は、導入後の協力と継続的なライフサイクル監視のための実践的な基盤を提供する。
1. AIシステムが実際に何ができるかを規制する
最先端のAIは、モデルの性能、アクセス性、自律性が向上するにつれて進化し、固定ラベルやトレーニング計算に基づくガバナンスに挑戦している。
固定されたラベルやトレーニング指標では、展開されたAIのリスクを捉えることはできません。評価は、システム全体がどのような状況下で、どのような自律性、アクセス権限、および安全対策の下で何ができるかに焦点を当てるべきであり、これらの状況が変化した際には再検討する必要があります。
ガバナンスは、AIシステムが当初設計された目的だけでなく、AIシステムが実際に何ができるようになったかにも追随していかなければならない。
2. AI関連のインシデントを可視化する
AI関連のインシデントは、より一貫して報告され、共有されるべきである。
現在、報告方法が統一されていないため、障害を比較したり、繰り返し発生する脆弱性を特定したり、単発的なインシデントがより広範な問題の最初の兆候であるかどうかを判断したりすることが困難になっています。政府、開発者、システムインテグレーター、導入担当者は、予期せぬ自律動作、セキュリティ侵害、封じ込め失敗、ニアミスなどのインシデントを報告するための共通の方法について合意する必要があります。
共通の定義と深刻度評価基準があれば、組織は分野や国境を越えて互いの失敗から学ぶことができる。航空業界は何十年も前にこれを実践してきた。ニアミスを非公開で、責任を問わない形で報告することが、飛行機の安全性が飛躍的に向上した理由の一つである。
既存の取り組みには、 OECD AIインシデントモニターEU AI法の 重大事故報告規定 そしてフォーラムの エージェントの機能と承認プロファイル これらは、事後対応型の報告から事前承認への移行に役立つ基盤を提供するが、より一層のグローバルな連携が依然として必要である。
効果的な報告を行うには、システムが何を実行し、どのツールをいつ、誰の権限で実行したかを示す監査証跡が不可欠です。これらがなければ、モデルの不具合が統合エラー、セキュリティ対策の不備、あるいは不適切な導入判断によるものなのかを判別することはできません。
これは、完全な情報公開を必要とするものではありません。機密性の高い商業情報やセキュリティ情報は保護されるべきですが、同時に、被害の防止と対応を担当する人々が必要な情報を確実に得られるようにする必要があります。
3．安全対策が効果を発揮しているという証拠を要求する
組織は、サプライヤーの保証、方針、または基準だけに頼るべきではありません。航空や原子力発電における安全評価と同様に、想定される故障、テスト済みの安全対策、および対応策を示す構造化された証拠に基づき、各システムおよび状況における安全性を実証する必要があります。
責任は共有されます。開発者はモデルの機能、制限、変更点を文書化し、インテグレーターは現実的な条件下でシステム全体をテストし、展開担当者は運用状況、ニアミス、停止トリガーを監視します。精査は、潜在的な影響範囲、可逆性、自律性、アクセス可能性を反映する必要があります。文書要約ツールは自己評価を必要とする場合がありますが、資金移動や機器操作を行うエージェントは、展開前および重要な変更後に独立したテストを受ける必要があります。モデル、権限、運用条件が変化するにつれて、証拠は常に最新の状態に保たれなければなりません。
目的はすべてのリスクを排除することではなく、リスクが理解されていること、現実的な条件下で安全対策が有効であること、そして不具合が封じ込められることを示すことである。
反応から準備へ
最先端のAIは、科学的発見を加速させ、複雑なシステムを構築し、生産性を向上させ、地球規模の課題解決に貢献する可能性を秘めている。これらの恩恵を受けるためには、組織がますます高性能化するシステムを責任を持って導入し、同時に制御を維持できるという信頼が不可欠である。
国際的な議論は、AI開発を加速させるべきか減速させるべきかという点に集中することが多い。この問題は重要だが、今日利用可能な実際的な対策を覆い隠すべきではない。
より質の高いインシデント報告、独立した安全性のエビデンス、そして能力に基づいた評価は、リスクを早期に特定し、迅速に対応するのに役立ちます。これらを実現するには、最先端の研究機関、展開組織、そして政府間の協力が不可欠です。目標は、AIの発展に遅れをとらないよう、AIがもたらす影響を理解し、管理する能力を確実に向上させることです。
国際協力によってこれらの優先事項を具体的な安全策へと転換すべきであり、行動を起こすべき時は今である。
