詐欺犯は、AIで生成されたディープフェイクによる巧妙な攻撃により、エンジニアリング企業Arupから2,550万ドルを奪った。
この事件は、AIの可能性を積極的に取り入れようとする組織が、同時にその兵器化への防御も講じなければならないことを浮き彫りにしている。
危険なAIとディープフェイクの検知は、単なる技術的課題ではなく、公共の信頼を守るための鍵である。
香港の金融担当者は、ビデオ通話に何ら不審な点を感じなかった。英国拠点の最高財務責任者（CFO）が機密性の高い買収案件について緊急の承認を必要としており、馴染みの同僚が数名参加して詳細を協議していた。
十分な協議の後、この従業員は15回にわたる送金、総額2,550万ドルを承認した。その数週間後になってようやく衝撃的な真実が明らかになった。被害者を除き、その通話に参加していた全員がAIで生成されたディープフェイクだったのである。
この2024年1月のエンジニアリング企業Arupへの攻撃は、単なる高度な詐欺を超えるものであり、現代のビジネスを支える信頼基盤を、AIがどのように脅かすのかという点における根本的な転換を示している。
多くの組織がAIの変革的な可能性を取り入れようと競い合う中、同時にその兵器化に対する防御も講じなければならない。危険なAIを検知する能力は、もはや任意のものではなく、存続に関わるものである。
政治的な偽情報を超えた進化
長年にわたり、ディープフェイクは選挙操作や著名人のスキャンダルの道具として見出しを席巻してきた。その時代は終わった。Arupの事例は、ディープフェイク攻撃が経営幹部へのなりすましを通じて企業運営を標的とする精密兵器へと進化したことを示している。ほとんどの組織は、この脅威に対して依然として極めて無防備である。
この進化の規模は驚異的である。北米では、ディープフェイク詐欺の件数が1,740%急増し、2022年から2023年にかけて、金銭的損失は2025年第1四半期だけで2億ドルを超えた。ディープフェイク技術の入手が容易になったことで、詐欺が民主化された。音声クローンにはわずか20〜30秒の音声があれば足り、説得力のある動画ディープフェイクは、無料で入手できるソフトウェアを使えば45分で作成できる。
Arupの事例以外にも、記録された攻撃はますます巧妙な手口を示している。詐欺犯は フェラーリのCEO、ベネデット・ヴィーニャ氏になりすまそうとし、彼の南イタリア訛りを完璧に再現したAIクローン音声による通話を用いた。通話は、ある幹部が発信者に、ヴィーニャ氏本人しか答えられない質問を投げかけたことで、ようやく打ち切られた。
同様の試みは、WPPのCEO、マーク・リード氏をはじめ、業界全体の多数の幹部も標的とされている。金融サービス情報共有分析センターは、これらの攻撃が「民主的プロセスの妨害から、ビジネス運営への直接攻撃への根本的な転換」であると警告している。
この進化は、脅威の状況におけるより広範な変化を反映している。大量配布を想定して設計された政治的ディープフェイクとは異なり、企業向けディープフェイクは外科的な攻撃である。個別化され、文脈的に完璧で、壊滅的な効果を持つ。ビジネスの速度を可能にする信頼ネットワークを悪用し、デジタル通信への依存を重大な脆弱性へと転じさせる。
危険なAIを検知する際の課題
現行のセキュリティ機構は、この脅威に対して壊滅的に機能しなくなっている。研究によると、最先端の自動検知システムは、実験室の条件と比べ、実世界のディープフェイクに直面すると45〜50%の精度低下を示す。さらに憂慮すべきことに、ディープフェイクを見分ける人間の能力は、わずか55〜60%にとどまっている――ほぼ偶然の確率と大差ない水準である。
「音声と映像の手がかりは、人間にとって非常に重要であり、これらの技術はまさにそこにつけ込んでいる」と、Arupの最高情報責任者（CIO）、ロブ・グレイグ氏は、2,500万ドルの詐欺事件を振り返りながら語る。「私たちは、見ているものを本当に疑い始める必要がある。」
生成技術と検知技術の間の非対称な軍拡競争こそが、根本的な課題である。ディープフェイク動画は年率900%で増加している一方、検知能力は一貫して後れを取っている。動画で馴染みのある顔を認識すること、信頼できる声を聞くこと、さらには行動パターンを観察することといった従来の認証手段は、もはや確実なセキュリティを提供できない。
フォーラムは、世界的なサイバーセキュリティの課題にどのように取り組んでいるのか？
サイバーセキュリティセンターは、リーダーが進化するサイバーリスクとその体系的な影響を理解するために集まる、信頼できるプラットフォームを提供している。相互接続が進むデジタル社会において、理解と信頼の醸成に注力している。
部門横断的な協働と知見の共有を可能にすることで、センターはパートナーがサイバーレジリエンスを強化し、集団的な対応を必要とする課題に取り組めるよう支援している。
とはいえ、この課題は新興の技術的解決策によって対処することができる。リアルタイムのマルチモーダル検知システムは、音声、映像、行動パターンを同時に分析し、最適な条件下で94〜96%の精度を達成している。
これらのシステムは、複数の検知アルゴリズムを組み合わせるアンサンブル手法を活用しており、敵対的攻撃に対してより高い耐性を備えている。企業はこれらの機能を直接コミュニケーションプラットフォームに組み込み、ライブのやり取り中にリアルタイムでアラートを発することを可能にしている。
検知のギャップを埋める鍵は、継続的な適応にある。静的なセキュリティ対策とは異なり、現代のディープフェイク検知には、新たな脅威に対して絶えず再学習されるモデルが求められる。
最先端のソリューションは現在、プライバシーを保護しながら検知能力を毎日更新するフェデレーテッドラーニング（連合学習）の手法を採用している。この動的な防御態勢は、検証済みの通信のための暗号認証手法と組み合わせることで、検知の軍拡競争において前進の道筋を示している。
ディープフェイクに対する体系的なレジリエンスの構築
完璧な検知は依然として困難であり続けるかもしれないと認識し、先進的な組織は、技術、政策、人的要因を組み合わせた統合的アプローチによって、多層的なレジリエンスを構築しつつある。この体系的な防御戦略は、ディープフェイクを打ち破るには技術的解決策以上のものが必要であり、信頼を検証する方法そのものの根本的な変革が求められることを認識している。
金融機関は包括的な枠組みの先駆けとなっており、FS-ISACのディープフェイク・リスク分類体系は人材、プロセス、技術にまたがる体系的な防御の構築を可能にする。主要な要素には、従来の手法を超えて多要素認証を拡張し、行動生体認証を組み込むことが含まれる。これは、タイピングパターンや操作の癖をリアルタイムで分析するものである。100を超える金融機関がこれらのシステムを導入し、銀行間の行動詐欺検知ネットワークを構築している。
合成メディアによって侵害されない検証プロトコルが、標準的な実務になりつつある。これには、事前に確立された二次的な通信チャネル、暗号化されたデバイス認証、高額取引に対する義務的な時間差の設定が含まれる。米国金融犯罪取締ネットワークはディープフェイク事案に関して、強化された検証手続きと不審活動報告を義務付ける正式なガイダンスを発出している。
研修は、もう一つの重要な柱である。米国銀行協会は定期的なワークショップを実施し、従業員に操作の手口を見抜き、独立した経路を通じて経営幹部の指示を検証する方法を教えている。これらのプログラムから生まれたベストプラクティスには、機微な通信のための「セーフワード」の設定、事前に確認された番号を使用したコールバック手続きの導入、高リスクシナリオのための判断ツリーの作成などが含まれる。
この脅威に対処するため、政策の枠組みは急速に進化している。欧州連合のAI法は、2024年8月に発効し、AI生成コンテンツに対する透明性義務と技術的な表示を義務付けている。一方、米国には包括的な連邦法が存在しないものの、より広範なAIガバナンスの枠組みの中にディープフェイク固有の規定を含む複数の法案が議会で審議されている。
ディープフェイクに対抗するために必要な、強固な検証プロトコル
世界経済フォーラムのGlobal Cybersecurity Outlook 2025が強調するように、ディープフェイクの脅威は、AIを活用した世界において信頼を維持する能力を試す重大な試金石である。こうした中、デロイトは2027年までにAIを活用した詐欺が400億ドルに達すると予測しており、その影響は金銭的損失にとどまらず、ビジネスにおける信頼の基盤そのものにまで及ぶ。
解決策には、即時かつ協調的な行動が求められる。組織は、強固な検証プロトコルを導入し、継続的な検知能力に投資するとともに、セキュリティ文化を「信頼するが検証する」から「決して信頼せず、常に検証する」へと転換しなければならない。テクノロジー提供企業は、回復力があり適応性の高い検知システムの開発を最優先しなければならない。政策立案者は、イノベーションと保護のバランスを取る枠組みを構築しなければならない。
最も重要なのは、危険なAIを検知することが単なる技術的課題ではなく、人類の進歩を可能にする信頼を保つうえで不可欠であると認識することである。AIを中心とした世界において、本物の人間によるコミュニケーションと合成による操作を見分ける能力が、人工知能が人間の可能性を増幅するのか、それとも社会そのものの基盤を損なうのかを決定づけるだろう。
