AI時代には、偽情報の取り組みは人々だけでなく機械も標的にしうる。
エージェント型AIとAIスウォームは、虚偽または誤解を招くコンテンツの拡散に利用でき、世界の情報エコシステムを混乱させうる。
こうした自律的な影響力工作への対策には、人間と機械の双方に対する認知セキュリティと回復力の強化が必要となる。
技術の進歩により、世界の情報エコシステムは根本的に変化し、よりデジタル化され、アクセスしやすくなった一方で、複雑化し断片化している。人工知能（AI）は、この変革の中心にあり、情報へのアクセスを民主化するとともに、政府や企業によるデータ主導の意思決定を支えている。
2022年以降、生成AI、特に大規模言語モデル（LLM）は、情報エコシステムを品質にばらつきのあるコンテンツで溢れさせてきた。推定新たに公開される記事の50%は現在AIによって生成されており、合成コンテンツは最大新規ウェブページの74%に出現している。これにより、境界が曖昧になり、人間が生成したコンテンツと機械が生成したコンテンツの区別が難しくなるとともに、ビジネスインテリジェンスや分析の入力データにも影響が及んでいる。
偽情報と認知戦
偽情報は、操作する意図または欺く意図で拡散される。一方、誤情報も不正確または誤解を招くものであるが、意図せず共有される。
どちらもAIの登場以前から存在していたが、デジタル時代により、その巧妙さ、規模、リーチが強まり、推奨アルゴリズムと、データの絶え間ない収益化によってさらに助長されている。
影響力工作は、技術とともに進化しながら、長らく偽情報を利用してきた。初期のディープフェイクは見破りやすかったが、近年のものは政治的・経済的利益を得るために悪用できるほど説得力を持つようになった。低コストで複数のモダリティに対応するLLMは、悪意ある主体の参入障壁を下げ、テキスト、音声、動画による偽情報を大規模に生成することを可能にしている。
企業は、サプライチェーンを通じて、また市場操作のリスクにさらされている。株価に影響しうるニュースに関する組織的な偽情報や、経営幹部になりすますディープフェイクがその例である。これは、すべての取締役会が注視すべき課題である。
動機はさまざまである。悪意ある主体の中には恐喝や詐欺を目的とする者もいれば、転覆を狙う者もいるかもしれない。後者は、政治的・社会的な脆弱性を突いて、既存の権威を弱体化させようとする。
転覆は、新たに台頭しつつある認知戦の中核をなしている。偽情報が物語を操作するのに対し、認知戦は影響を及ぼすことを目指し、人々、企業、組織、社会が現実をどのように理解し、意思決定を行うかに作用する。
エージェント型AIとAIスウォーム
エージェント型AIは、この脅威の状況をさらに複雑にしている。AIエージェントは、自律的に環境を認識し、それに対して行動するものであり、次の分野で急速に普及しつつある：企業、政府および軍隊にもかかわらず、信頼性とセキュリティ上の限界がある。
推定では、2,860万件のエージェントが2025年に企業で利用されており、2030年までに20億件を超えると予測されている。
この普及は、悪用への懸念も生んでいる。自律型エージェントは、すでにサイバー作戦の一部を自動化しており、かつては高度な専門知識を要した攻撃が、独立して実行できるようになり、機械の速度と規模で。
リスクは、特化型AIエージェントが連携したネットワーク、すなわちスウォームとして機能する場合にさらに高まる。まだ初期段階ではあるが、これらのAIスウォームは、自律性、巧妙さ、規模、速度を高めることで偽情報を増幅させうる。一方、ルールに従うボットと異なり、エージェント型AIは、目標が設定されると、人間の監視がほとんどないまま、適応的かつエンドツーエンドの影響力工作を可能にしうる。
このリスクは仮定の話ではない。模擬ソーシャルメディア環境として作成された最近のUSCの研究では、500件のAIエージェントが独立して連携し、ある政治候補者を支持するよう仕向けた。企業や公人に対して用いられた場合、このようなエージェント主導のキャンペーンは、評判に深刻な損害を与える可能性があり、信頼の構築には何年もかかるところ、数日以内に生じうる。
二重の標的：人間と機械の認知
エージェント型AIは、偽情報を大量生成や拡散の段階から、自動化と飽和へと押し進める。これにより、真実と虚偽の区別は次第に難しくなる。生成AIが超個別化された偽情報を可能にしたのに対し、エージェント型AIは合成されたコンセンサスを捏造し、プロファイリングに用いられる個人データに支えられて大規模に行うことができる。
ここに、偽情報が認知戦へと発展しうる要素がある。人間の認知が現代の紛争における中心的な標的となりうると同時に、自律的な影響力工作によって転覆を目的とした工作の開始が容易になり、その追跡も困難になる。
AIスウォームは、一部の人が呼ぶ「深刻化する認識論的危機」の中で格好の土壌を見出している。社会が根本的な事実について合意する能力が損なわれていることが原因だ。科学、メディア、政府機関といった従来の仲介者は、インターネットとソーシャルメディアの台頭とともに、その権威の低下に直面してきた。これにより集団的な信頼は弱まり、社会は偽情報の影響を受けやすい状態に置かれている。エージェント型AIは、これらの脆弱性を精密に突くことができる。
AI時代においては、認知戦は機械の認知も標的にしうる。これは、人間の知覚、推論、論理的思考に類似した、人工システムにおける処理過程を指す。
合成データが増えるにつれ、データ汚染のリスクも高まっている。LLMグルーミングは、オープンウェブ全体に欺瞞的なコンテンツを仕込み、学習データに取り込ませてモデルの出力を歪めることができる。こうした攻撃は成功させるのにほとんど労力を要しない。ある研究では、250件の汚染された文書があれば、LLMに隠れた脆弱性を埋め込むのに十分であることが示されている。
意図的な操作がなくても、信頼できる情報が乏しい領域では、モデルが偽情報を目立つ形で示す可能性がある。スウォームは、そうしたデータの空白を合成コンテンツで素早く埋め、初期段階で公衆の認識を歪めうる。人間が生成したデータが希少になるにつれ、モデルは合成データでの学習を増やし、自己強化的な誤りや偏りを招くおそれがある。この現象はモデル崩壊として知られている。
証拠によれば、AIとのやり取りは信念を変えうることが、社会的に争点となっている問題全般で示唆されている。
AIモデルは、それゆえ価値の高い標的となる。これらが侵害されれば、機械と人間の双方の認知が汚染されるリスクがあり、公共部門と民間部門の意思決定に不可欠な、信頼できる情報と歪みのない判断も損なわれかねない。エージェント型AIは、その判断の規模と速度が人間の監視を上回るとき、このリスクをさらに高める。
認知セキュリティの構築方法
情報エコシステムを守るには、2つの相互に関連する目標を中心とした多層的なアプローチが必要である：認知セキュリティの保護と、人間と機械の認知の回復力の構築である。
人間の側では、個人、組織、社会の各レベルの回復力を高めるために、教育的、政策的、規制的な措置が求められる。体系的なメディアリテラシーとAIリテラシーを、適応された教育とともに推進することで、批判的思考の向上と人間の認知セキュリティの保護に役立てることができる。
組織には、AI監査やレッドチーミングといった実践に加え、意思決定に影響を与える前に情報を検証するためのプロトコルが必要である。また、汚染された情報、捏造された圧力、なりすまされた指導者といった認知操作のリスクに対する認識も重要である。
より広い視野では、規制は説明責任を扱い、偽情報を助長する構造的なインセンティブを改めなければならない。その例として、真実のコンテンツと比べて制作コストが低いことや、デジタルプラットフォームが正確性より関与を優先する傾向が挙げられる。
AIシステムが世界の認知インフラの一部となるにつれ、認知セキュリティは機械にも及ぶ必要がある。信頼でき検証されたデータセットで学習させた主権型または社内開発のモデルは、データ汚染やモデル崩壊への露出を減らす。機械論的解釈可能性（モデルの内部動作を理解する能力）の進展は、AIの振る舞いの追跡と監査をよりよく可能にするだろう。
プラットフォーム横断的なモニタリングは、虚偽の物語がどのように広がるかを予測するうえで有望であり、防御用のAIエージェントは、偽情報を検出することができる。人間によるものとは考えにくい連携のパターンを特定することで、それが可能になる。また、ブランドの評判を監視し、中傷キャンペーンが広がる前に警告を発することもできる。
これらの取り組みはすべて、人間と機械の認知の基盤を重要インフラとして扱う、考え方の転換を必要とする。
認知的脅威への回復力の構築は、技術的な課題であると同時に、ガバナンスの課題でもある。これには、組織的な能力、分野横断的な研究、国際協力、そして実質的な多様な利害関係者による関与が求められる。
