生成AIシステムの登場により、サイバーリスクの状況は大きく変化しており、組織はそれがもたらすサイバーセキュリティ上の影響の評価を迫られています。
AIがもたらす差し迫った優先リスクと長期的な懸念との重要な違いを評価する必要があります。
私たちはCISO（最高情報セキュリティ責任者）に話を聞き、AIに関連して彼らが直面している差し迫った最重要の懸念事項と、その対処に向けて講じている措置を明らかにしました。
生成AIの変革の可能性が広がる中、この技術の将来の発展に伴うリスクや懸念が広く議論されています。社会のAIへの依存度の高まり、システムに対する制御の喪失の可能性、システムの目標と人間の価値観との不整合、そしてAIシステムとの資源競争の可能性などが、特に激しく議論されているテーマです。
こうした長期的リスクに関する議論は欠かせないものですが、サイバーセキュリティのリーダーたちは、生成AIシステムの広範な導入に伴う、それとは異なる差し迫ったリスクに直面しています。今年初めに、Samsungのエンジニアが社内のソースコードをChatGPTにアップロードしたことで意図せず流出させた事案など、これらのシステムを通じたデータ侵害がいくつも起きています。これは、生成AIの進展が新たなサイバーセキュリティの脆弱性としてどのように現実化するかを示す初期の事例です。
サイバーセキュリティのリーダーは、こうした差し迫った懸念に迅速に対応しなければならないため、喫緊の課題を明確に特定し、また見過ごされがちなことではありますが、それらをより長期的なリスクと区別することが不可欠です。
世界経済フォーラムはサイバーセキュリティに関してどのような取り組みを行っていますか？
サイバーセキュリティセンターは、リーダーが一堂に会して進化するサイバーリスクとその体系的な影響を理解するための、信頼できるプラットフォームを提供しています。増大する相互接続されたデジタル社会において、理解と信頼の醸成に重点を置いています。
セクターを越えた協力と知見の共有を可能にすることで、同センターはパートナーがサイバーレジリエンスを強化し、集団的な対応を必要とする課題に取り組むことを支援しています。
CISOの差し迫った懸念事項
私たちはCISOに話を聞き、最近のAIの進展に関して直面している主要な差し迫った懸念事項を明らかにしました。
敵対的能力の強化：生成AIの能力により、フィッシング、悪意あるコードの生成、ディープフェイクなどのサイバー攻撃の開発と実行にかかるコストが低下し、そうした攻撃の自動化と大規模化の能力が高まります。そのため、生成AIはサイバー犯罪者が脆弱性やセキュリティ上の欠陥を発見し、悪用することをより容易にします。
生成AIシステムの不適切な利用とデータ流出：生成AIシステムの不適切な利用は、機密情報の不用意な開示を含む様々な課題をもたらします。また、これは機密情報が意図的または意図せずに生成AIシステムの学習に利用されうることを意味し、深刻な機密性上の懸念を生じさせます。さらに、生成AIシステムに本来想定されていないことを意図せず行わせてしまうリスク（例：プロンプトインジェクション）や、当初の目的とは異なる用途で利用することで、望ましくない結果を招くリスクもあります。
ブラックボックス効果： AIモデルの完全性を証明することは困難です。モデルの開発に用いられる複雑なコードは、開発者自身を含めて、必ずしも完全に理解されているわけではありません。これにより、システムの透明性が欠如し、信頼しにくくなります。さらに、生成AIシステムの開発においては、セキュリティを設計段階から組み込む包括的なアプローチや適切なセキュリティ管理が欠けていることも多くあります。
生成AIシステムの導入と安全確保にかかるコスト：生成AIの進展がもたらすコスト面の影響は多岐にわたり、生成AIシステムの購入、開発、導入に伴う費用が含まれます。さらに、AIシステムの利用に伴い、エネルギー消費も増加します。その他のコスト面の影響としては、サイバーセキュリティチームに関するものもあり、従業員のスキル向上、啓発キャンペーンの実施、これらのシステムを保護するための新たな方法の開発にかかる追加コストなどが含まれます。
世界経済フォーラムは人工知能のためのガードレールをどのように構築していますか？
AI卓越性センターは、セクターを越えてリーダーをつなぎ、人工知能の急速な進化とそれが経済や社会に与える影響を理解することを支援しています。AIの導入に伴う機会、リスク、トレードオフに関する、十分な情報に基づく対話を支えています。
信頼できる場と協働の取り組みを通じて、同センターはパートナーが共通の理解を深め、AIの革新と利用に対する責任ある取り組みに向けて協力することを支援しています。
新たなAI関連の課題に対する具体的な行動
生成AIシステムの影響を理解し、包括的に対処するためには依然として多大な努力が必要ですが、組織は、サイバーセキュリティやそれを超える分野における影響に関する新たな課題に対処するため、初期段階の措置を講じています。
全社的な協議： 従業員に技術を試用させ、議論させ、関連する懸念を共有するよう促しています。円滑な導入を支援するためには、AIの進展に関連した、エンゲージメントと革新の文化を育むことが鍵となります。
作業部会： 知的財産の保護から内部脅威まで、優先的な課題に対処するための専門の作業部会を設置しています。
ガバナンス委員会： 分野横断的なチームがAIシステムを利用する際の指針となる原則とガードレールを定めています。これには、サイバーセキュリティ、IT、法務、人事、データ保護、顧客対応部門が関与する場合があります。
教育および啓発プログラム：ツールの責任ある利用と関連リスクの理解を促進するため、全社的なAIの教育および啓発プログラムを実施しています。
サイバーセキュリティの戦略、方針、実務の適応： AIの進展に伴う新たなサイバー脅威に対応するため、既存のサイバーセキュリティ戦略と方針を見直しています。これには、例えば、従業員に生成AIツールの利用を開示することを義務付けたり、その利用を制限したり、個人所有の端末で会社のデータを扱う際の利用方法に関するガイドラインを定めたりすることが含まれます。
技術的管理の見直し： 変化する脅威の状況と新たなAIシステムの導入を踏まえ、サイバーセキュリティ管理を適応させています。
マルチステークホルダーによる行動の呼びかけ
組織全体で初期の措置が講じられてきた一方で、これらの取り組みは主に場当たり的で孤立したアプローチによって特徴づけられてきました。生成AIがもたらすサイバーセキュリティ上の影響に包括的に対処する取り組みは、まだ始まったばかりです。生成AIのためのサイバーセキュリティの基礎を確立することは、信頼でき、倫理的で責任あるAIを確立するために必要な基盤作りの一部です。
こうした状況において、サイバーセキュリティのリーダーは、AIの防御的可能性を特定し活用すること、サイバーセキュリティリスクのガバナンスを明確にすること、生成AIの安全な導入と利用を確保することを目的とした規制に関する意見を提供することなどの行動の機会に直面しています。
生成AIの影響に対処するためには、マルチステークホルダーによる包括的なアプローチが不可欠であることは言うまでもありません。組織、規制当局、技術者が協力することで、これらの技術革新がもつ変革の力を責任をもって活用し、それによってデジタルの未来を確かなものにすることができます。
こうした状況を受けて、世界経済フォーラムは2023年6月に「AIガバナンス・アライアンス」を立ち上げました。同アライアンスは、人工知能システムの責任ある設計、開発、展開に関する指針の提供を目的としています。同アライアンスの活動の詳細はこちらでご覧いただけます。
