現在、AI特有の新たなリスクが数多く存在します。
新しい技術トレンドを目にするたびに、有害性の可能性が生じ、技術の利用を収益化しようとする脅威の機会も生まれると予想できます。
このブログは、AIガバナンス・アライアンスによるアジェンダシリーズの一部です。同アライアンスは、包摂的なAIシステムの責任ある世界的な設計、開発、導入を提唱しています。
高度な深層機械学習の利用が拡大するなか、AIを導入する際には、そのようなシステムの完全性、安全性、セキュリティを確保する責任も併せて負う必要があります。
新たなリスク
新たなAI特有のリスクについては、多くの議論や検討がなされてきました。その代表例が、AIを活用するシステムにおける公平性の欠如や偏りの存在の可能性です。これは、初期の学習データや、システムが環境から学習しながら進化する過程でAIモデルをどのように維持するかに起因します。その他の懸念としては、システムの精査や完全性の確認、そして価値観との整合性の維持が十分に行えないことが挙げられます。これは、AIシステムがどのようにして出力に至ったかを理解することが難しいことにしばしば起因し、出力が信頼できない状況ではその問題がさらに深刻化します。
また、AIシステムそのものを攻撃することによって組織を侵害する新たな手口も存在します。すでに様々な脆弱性が知られています。学習に用いられるデータセットやモデルの進化を通じて学習に影響を与えることが可能であり、その結果、安全でない、あるいは単に不整合なモデルが生成され、脅威アクターの意図に沿って動作するおそれがあります。
しかし、AIシステムの脆弱性は、データ汚染や安全でないモデルの変化のリスクに限られるものではありません。コンピューティングシステムが誕生以来、絶えず弱点となってきたような実行時のソフトウェアエラーにも直面することになります。AI環境が侵害されれば、こうしたエラーが攻撃者に機会を与え、ローカルコンピュータを乗っ取り、そこを足掛かりとして、より広範な企業インフラ全体に侵入させるおそれがあります。最終的に、他のあらゆるデジタルシステムと同様に、潜在的な被害の範囲は利用状況によって左右されます。AIの場合、その範囲は大きく、かつ拡大し続けており、重要インフラ内のシステムや、人命を危険にさらす可能性のあるシステムも確実に含まれるでしょう。また、人々や社会への影響にも及び、人間の主体性や民主的プロセスのほか、各分野や企業のガバナンスにも影響を及ぼす可能性があります。
高まるサイバー脅威
AIシステムの脆弱性やリスクの事例は増加しており、サイバーセキュリティの専門家は、こうした脅威への対抗策を支える手法の開発に積極的に取り組んでいます。しかし、AIシステムや、それらを支える業務プロセスを保護する能力には、依然として大きな能力のギャップが存在します。
こうした開発は、より広範な地政学的・技術的状況のなかで進められています。現在の国家間の紛争は、攻撃的・防御的双方のサイバー技術における革新と能力構築の時期を活性化させる役割を果たしています。こうした動きは、近い将来、サイバー犯罪など他の領域にも波及することが予想されます。これは、より多くのスキルと、拡大する脅威アクターのエコシステムを伴い、より大きなサイバー脅威に直面することを意味します。
モノのインターネットやクラウドサービスなど、より広範な技術やビジネスモデルへの世界的な投資は、アルゴリズム、モデル、学習用データセットへのアクセスや、技術をより利用しやすく使いやすいものにするAI・アズ・ア・サービスの提供およびソリューションの面で、AI能力を開発するための大きな機会をもたらします。つまり、当社のシステムや経済を攻撃しようとする者は、AIを活用するようになるということです。
現時点では、システムが推奨する意思決定が当社の倫理や法律に沿ったものであることを確保する問題と、脅威アクターによる意図的かつ隠密な操作からAIモデルを保護する問題は、別個のものとして捉えられているかもしれません。しかし、やがて攻撃の目的は、AIシステムを侵害して許容範囲や倫理的な慣行を逸脱した出力をさせること、たとえば身代金の支払いを強要したり、改ざんされたモデルやデータセットを公開したりすることへと変化すると予想されます。こうしたリスクは、単なる想像や空想科学の世界の話ではなく、日々サイバー空間、企業、サプライチェーン全体で目にしている脅威の延長線上にあるものです。新しい技術トレンドを目にするたびに、有害性の可能性が生じ、技術の利用を収益化しようとする脅威の機会も同様に生まれると予想できます。
効果的な監督を支える必要性
直面している脅威のレベルは高まっており、デジタル技術やサービスへの依存が、システミックなサイバーリスクを生み出しています。その集積は依然として部分的に見えにくく、予測や定量化が困難です。人類が直面する最も差し迫った課題の一部に対する新たな解決策を生み出し提供するためにAI技術を活用するにあたり、この技術への投資が許容できない、あるいは管理不能なレベルのサイバーリスクにさらされないようにする受託者責任、そして倫理的責任があることは間違いありません。サイバーセキュリティの専門家が アイデア、実践、ツールを提供することは期待できますが、それは市場に需要があることを確保した場合に限られます。
必要なものは分かっているのでしょうか。解決策の中核は事業であり、AIを活用した安全で確実な未来へと私たちを導くうえで、リーダーの役割が求められます。上級管理職にとって明白な出発点は、既存のリスク管理策、すなわち投資が行われ、測定され、良好に機能しているものを、そのようなAI技術を用いる企業モデルにも適用できるようにすることです。保険会社、投資家、顧客、規制当局もそうした立場を求めるでしょう。私たちは、監督を可能にするとともに、意欲的な脅威に対して効果的に防御するために用いることができる運用管理策を備える必要があります。
これは容易なことではありません。AIの利用によって既存の実務における隙間が一層拡大することになりますが、現時点では専門的なサイバーセキュリティソリューションが利用できないためです。
•サイバーセキュリティ管理策の有効性や、オーケストレーションを最適化する方法は十分に理解されていません。このため、サイバーリスクの露出度の計算が不正確になるおそれがあります。
•上級管理職にはデジタルに関する直感が欠けていることが多く、その結果、サイバーセキュリティ戦略と事業全体の使命との結びつきが弱くなる可能性があります。
•取締役会における精査が不十分であるため、予期せぬリスクが顕在化する可能性が高まり、高額なサイバーインシデントへの備えも不十分になります。重要な国家インフラや分野の監督を担う者にも、同様の課題が存在します。
フォーラムは世界のサイバーセキュリティの課題にどのように取り組んでいますか。
サイバーセキュリティセンターは、リーダーが一堂に会し、進化を続けるサイバーリスクとそのシステミックな影響を理解するための信頼できるプラットフォームを提供します。相互接続が一層進むデジタル社会において、理解と信頼の構築に重点を置いています。
分野横断的な協働と知見の共有を可能にすることで、同センターはパートナーがサイバーレジリエンスを強化し、集団的な対応を必要とする課題に取り組めるよう支援しています。
AI特化型サイバーセキュリティソリューションの不足
一つの例(ほかにも多数ある)は、脅威の監視と検知の分野です。私たちは、すべての脅威がシステムに侵入することを完全に防ぐことは一度もできていません。仮に、外部からの脅威にとって実行可能な攻撃対象領域となる脆弱な技術が存在しないよう確保できたとしても(これは、いかなるセキュリティ専門家も前提としてはならないことを知っています)、正当なアクセス権を持つ人物が私たちを攻撃したり、そのようなアクセス認証情報を第三者に販売して利用させたりする事態には、常に直面することになります。つまり、侵害されたシステムを検知する能力を提供することは不可欠です。そうでなければ、現実には、人々の生活や生計、経済、重要インフラに影響を与える意思決定を支援するために、侵害されたAIを知らないうちに利用してしまうおそれがあります。
現時点では、AIシステムに対する十分に整備された脅威検知は存在していません。これは容認できない状況です。システムの完全性が失われたことを把握できないのであれば、国家、グローバル企業、中小企業のリーダーは、どのようにして監督や戦略を効果的に行うことができるのでしょうか。
AIシステムへの攻撃を検知する能力を持つようになったとしても、それを他のすべての運用サイバーセキュリティ機能と並行して導入する必要があります。これには、ツールやアナリストから提起される懸念の優先順位付けについて意思決定を行うことが求められます。あらゆる可能性のある脅威に対処する能力は、私たちにはありません。成熟したサイバー防御の重要な側面は、脅威主導型であること、すなわち、最も有害と判断されるリスクに限られた資源を振り向けることです。AIを利用する場合には、AI対応の脅威や、AI対応の事業を標的とする脅威アクターに関する特化した脅威インテリジェンスにアクセスできるようにする必要もあります。成功の鍵となるのは、経験や脅威に関する知見を同業他社と共有することです。私たちは先見性を養い、脅威を予測し、それによってセキュリティ体制を変化させ、サイバーレジリエンスを維持する必要があります。
リーダーシップの重要性
生成AIの利用をめぐって提起されている懸念に応えられるような組織文化を促進する必要があります。責任ある取り組みとは、その利用について開かれた透明性のあるものであり、顧客やステークホルダーとのコミュニケーションを支え、配慮を促進し、AIシステムが私たちの価値観と強く整合するよう努めることです。攻撃を検知した場合に学習内容を容易に巻き戻せないのであれば、バックアップソリューションの検討も必要になるかもしれません。それには、AIを停止させる能力も含まれる可能性があります。
AIを利用する企業のリーダーは、運用上のセキュリティ機能の導入を強く求める必要があります。リスクが重大である可能性がある場合には、特化したリスク評価や、残余サイバー・バリュー・アット・リスクの算定が必要になることもあるでしょう。AI技術の侵害や、組織全体の業務プロセスへの影響を組み込んだ、上級管理職向けの机上サイバーリスク演習を実施することは、2024年に不可欠です。
結論として、サイバーセキュリティに強いAIシステムや企業のためには、比類のない水準の動的性、迅速性、適応性が求められます。強力なリーダーシップは重要です。それがなければ、組織としての迅速性や、適応とレジリエンスに向けた勢いを達成することはできません。サイバーレジリエンスを転換し発展させる能力は、中核の強さに完全に依存しており、その中核のDNAはリーダーシップによって形成され、発展させられるものです。
AIガバナンス・アライアンスは、230を超える会員からなり、包摂的なAIシステムの責任ある世界的な設計、開発、導入を提唱することに尽力しています。多様な分野の専門家が集まり、人工知能のガバナンスと責任ある発展の形成に向けて結束しています。AIガバナンス・アライアンス運営委員会の著名な会員が厳選したブログシリーズを通じて、AIの進化し続ける環境における複雑な課題や機会を探るAIリーダーシップの最前線に触れてください。
