従来のサイバーセキュリティの枠組みは、AIを高度なリスク管理と説明責任を必要とする国際的な安全保障問題として扱うように進化する必要がある。
盛んに喧伝されている「AIの悪用」には、開発者が制御に苦慮している3つの明確な重大なリスクが含まれる。
企業は政策の追いつきを待つのではなく、ゼロトラストの原則に基づいてAIを積極的に管理する必要がある。
影響力のあるAI研究者ジェイコブ・コクサンが最近アントロピックを辞任し、彼の話題となった 役職 人類への脅威に関する警告は、警鐘を鳴らした。しかし、これはAIの存亡の危機に関する最初の警鐘ではなかった。次のようなセキュリティインシデント 抱きしめる顔 AIシステムが、開発者が意図も想定もしなかった方法で独自の目的を追求することが明らかになった。AIの誤動作や悪用は現実的なリスクであり、我々はそれらに対処する必要がある。
「AIの悪用」という言葉はしばしば安易に使われますが、実際には指摘する価値のある3つの異なるシナリオを指しています。
人間によるAIの悪用： かつては高度な専門知識を必要とした侵入行為において、フロンティアモデルは、経験の浅い脅威アクターがエクスプロイト、詐欺、サイバー犯罪を実行するためのハードルを下げている。
研究所から脱走するAIモデル： まるでスパイ映画の一場面のようだ。機械学習プラットフォームのHugging Faceがセキュリティ侵害の調査を行う際、OpenAIが支援に乗り出したところ、事件の背後に自社のモデルが潜んでいることが判明したのだ。
間違った目標を追い求めている： 不正な動作をするAIエージェントがすべて悪意を持っているわけではない。多くは、設計者が意図した結果ではなく、評価基準となる指標に合わせて最適化しているに過ぎない。
事例ではなく、トレンドに注目しよう
懐疑論者は、AIシステムが誤った目標を追求した事例を挙げ、エージェントが意図せず誤った方向に導かれただけであり、AIに対する恐怖は単に誇張されているだけだと主張する。一方、警鐘を鳴らす人々は、特定の安全性テストの結果を根拠に、自らの主張を裏付けている。例えば、サイバーセキュリティテストの一環として、評価あるAIモデルに、セキュリティ対策が一切施されていないオープンなインターネットアクセスが提供された。このモデルは、その広範なアクセスを利用して、Tor匿名ネットワークを経由してトラフィックをルーティングし、テスト対象外の実際の人や組織と連絡を取った。そして、有害なファイルを含むファイルを送信し、他のAIエージェントが後で発見して再利用するための指示を仕込んだ。
確かに、こうしたテストの条件は、これらのモデルが実際に一般に公開される際の状況を反映しているわけではありませんが、攻撃者がAIモデルに到達させたい状態はまさにそれなのです。攻撃者はAPIキーを盗んで使用制限を回避し、公開されているモデルをコピーしてより小さなバージョン（蒸留と呼ばれる）を再学習させ、安全動作を削除し、脱獄プロンプトを書き込んでモデルに拒否を撤回させるのです。
懐疑論者と危機論者の間の議論は今後も続くだろうが、紛れもない事実として、AIシステムは開発者自身が懸念するような行動を取り始めており、AIモデルの改善ペースは予測がますます困難になっている。
CIAには2つ目の「A」が必要だ
セキュリティの3つの柱は常にCIAのものであり、それは機密性、完全性、可用性である。 （システムとデータが、必要なときにアクセス可能で使用できる状態を維持すること）。しかし、AIの導入が進むにつれて、2つ目のA、つまり説明責任を加えるべき時が来た。人間のクローン作成など、特定の技術進歩に関して引かれた厳しい線引きを考えてみてほしい。基礎となる科学技術によって実現可能ではあるが、そのプロセスが実行されないことが望まれる。AI開発における自主的な抑制が今後の方向性となるかもしれないが、一部のAI研究所はこのアプローチを好意的に見ていない。彼らは、自主的な抑制は企業間や国家間の競争圧力に耐えられないと主張する。説明責任は自主的なものではなく、意図的に構築され、強制されるべきである。
AIが生活やビジネスのあらゆる分野に浸透していることは、国際的な安全保障上の問題として捉えるべきである。攻撃者はAIを利用して政府機関、防衛関連企業、重要インフラを攻撃しており、寄せ集めの規則や規制ではなく、連邦政府による対策が必要であることを強く示唆している。
議論の中でよく出てくるアイデアの一つに、モデルが異常動作を起こす前にシャットダウンする「キルスイッチ」があります。これは理論上は良いアイデアですが、現実世界では、インシデントが何ヶ月も検出されないまま放置される可能性があります。誰かがキルスイッチを押す前に、既に被害が発生しているでしょう。
対策としては、インシデント報告の義務化、独立した評価、封じ込め基準、およびモデルの重みとAPIキーの保護に関する厳格な規則に重点を置くべきである。
政策が後手に回るのを待っていてはいけない
政策が策定されている間、企業は政策が追いつくのを待つのではなく、 世界の終末 シナリオを考えてみましょう。まず、AIを通常のソフトウェアのように扱わないことから始めましょう。AIを、独自の目標と動機を持つデジタルインサイダーのように考えてみてください。以下に、具体的な対策を示します。
ゼロトラストの基本原則である「侵害を想定する」「デフォルトで信頼しない」「必要最小限のアクセス権限のみを付与する」は、AIにも適用されなければなりません。AIエージェントは、いずれは不適切な動作をする可能性があると想定してください。一度認証されたからといって、エージェントに常時アクセス権限を与えてはいけません。そのアクセス範囲は可能な限り狭めてください。
有効なログイン情報があれば安全だと決めつけないでください。また、適切な認証情報を持っているAIシステムを信頼してはいけません。AIのあらゆる動作は個別に評価する必要があります。不正検出の観点から考えてみてください。正しいユーザー名とパスワードで銀行口座にログインしても問題視されませんが、同じ口座で別の国の受取人を追加し、すぐに電信送金が行われた場合は問題視されます。
モデル内部にあり、独自の裁量に依存する「ファイルの削除は許可されていません」などの確率的な指示は避けてください。執拗な攻撃者はこれらを回避する可能性があります。モデルの外部で強制される技術的な制限を含む厳格なガードレールを使用してください。これには以下が含まれます。 ネットワークセグメンテーション、 スコープ付き資格情報、 サンドボックス そして レート制限 それは爆発範囲を制限する可能性がある。
防御側は、攻撃の機械的な速度に合わせて、自身のタイムラインを圧縮する必要があります。パッチ適用、検出、緩和、および予防は、四半期ごとのレビューサイクルではなく、リアルタイムで行われなければなりません。 OODAループ （観察、方向付け、決定、行動）をあらゆるデバイス、ユーザー、クラウドアプリケーションで実現します。
AIに関する懸念は真剣に受け止めるに値する。しかし、それらを真剣に受け止めるには、現在および将来の警告に対処できる、AIに強いフレームワークを構築する必要がある。
