AI生成コンテンツはますますリアルになり、音声クローンやパーソナライズされたアバターなどの分野で驚くべき速さで進歩しています。
この急速な進展は、創造的、商業的、社会貢献的な多くの刺激的な用途を生み出しましたが、同時に生成AIの悪用や兵器化を大幅に拡大させました。
「倒錯した顧客ジャーニー」――オンラインの顧客ジャーニーやユーザー体験に摩擦を増やす考え方――は、悪意ある行為者が生成AIをどのように悪用するか、そしてどこで効果的に介入できるかを理解する助けになります。
生成AIの爆発的な普及を実感するのは難しいかもしれません。2019年、私はディープフェイクとAI生成コンテンツの状況を初めて体系的に調査した研究を執筆しました。主な調査結果の一つは、ディープフェイクの数が2018年12月の7,964件から2019年7月には14,678件へと、ほぼ倍増したことでした。これを2023年8月と比べてみましょう。ある研究では、わずか1年余りで驚くべきことに154億7,000万点ものAI生成画像が作られたと推計されています。特にAI生成の動画、音声、音楽を含めれば、現在の数はさらに大きいでしょう。
生成AIの爆発的な拡大は、この技術が大幅に利用しやすくなったことで始まりました。数年前には一流のAI研究所で開発の初期段階にあったツールが、今では使いやすい何千ものアプリやサービスで利用できます。同時に、AI生成コンテンツはますますリアルになり、音声クローンやパーソナライズされたアバターなどの分野で驚くべき速さで進歩しています。
この急速な進展は、創造的、商業的、社会貢献的な多くの刺激的な用途を生み出しました。しかし一方で、生成AIの悪用や兵器化も大幅に拡大させました。私はこの変化の初期の警告サインを、2020年にTelegram上のAI「ヌーディフィケーション」ボットを調査した際に目の当たりにしました。このボットにより、ユーザーは女性の衣服を合成的に取り除いた画像を何十万枚も簡単に作成でき、その大半は現実の知人である被害者の画像でした。
2024年には、学校が生徒による同級生のディープフェイク・ポルノ作成の蔓延に直面し、ディープフェイクを使った詐欺の試みは2022年から2023年にかけて10倍に増加しました。また、世界各地で選挙が相次ぐこの年、AI生成の政治的偽情報は重大な問題を引き起こしました。生成AIが民主化されるにつれ、それを兵器化することはかつてないほど容易になっています。
生成AIの悪用急増への対応は、政府、企業、NGO、メディア組織にとって緊急の課題です。しかし、関係者ごとの対応がばらばらで孤立したものにならないよう、生成AIがどのように悪用されるか、その全過程を理解するための統一的な枠組みが必要です。
では、政府や企業はどのように理解を深め、生成AIの悪用によりよく対応できるでしょうか。最初の一歩は、「倒錯した顧客ジャーニー」を描き出すことです。
世界経済フォーラムは、人工知能のガードレールをどのように構築しているのでしょうか？
AIエクセレンス・センターは、さまざまな分野のリーダーをつなぎ、人工知能の急速な進化と、それが経済や社会にもたらす影響への理解を深めます。また、AI導入に伴う機会、リスク、トレードオフについて、十分な情報に基づいた対話を支援します。
信頼できる場や協働の取り組みを通じて、同センターはパートナーが共通理解を築き、AIのイノベーションと活用に責任ある形で取り組めるよう後押しします。
「倒錯した顧客ジャーニー」を描く
顧客ジャーニーを作成することは、マーケティングやユーザー体験（UX）デザインで広く定着した手法です。ブランドを認知し、購入し、ブランドの支持者になるまで、消費者がロイヤルカスタマーへと変わっていく体験を表します。企業がこの過程を図式化する主な理由の一つは、ブランドの認知度が低い、ウェブサイトの使い勝手が悪いなど、消費者が自社のロイヤルカスタマーになるのを妨げる摩擦点を特定することです。
「倒錯した顧客ジャーニー」は、このモデルを反転させます。摩擦を減らすのではなく、悪意ある行為者が生成AIを悪用する体験を図式化し、摩擦を増やすべき重要な段階を特定できます。
例として、政治家の声を使った偽の音声を作ろうとする人を考えてみましょう。「倒錯した顧客ジャーニー」でその人がたどる手順を簡略化すると、次のようになります。
• 特定の音声クローンツールを見つける
• 学習用データを入手し、問題となる音声を生成する
• 問題となる合成音声を公開する
それぞれの段階で、さまざまな関係者が実行を助ける役割を果たします。検索エンジン、アプリストア、広告、オンラインフォーラムは、兵器化できる音声クローンツールを見つける手助けをする可能性があります。次に、オープンソースライブラリー、クラウドコンピューティングサービス、音声クローンアプリが、偽の合成音声を生成するために必要なリソースやツールを提供します。最後に、ソーシャルメディアプラットフォーム、報道機関、メッセージアプリが、悪意ある行為者による合成音声の拡散を助けます。
発想から実行までの「倒錯した顧客ジャーニー」を理解すれば、検索結果の順位を下げる、デジタル決済のサポートを停止する、生体認証を導入する、出力に初期設定で電子透かしを入れるといった介入策をどこに導入できるか特定できます。複数の摩擦点を、相互のつながりや累積効果を意識して導入すれば、生成AIの悪用を意図的により困難なプロセスにできます。
複雑な課題に対する現実的な対応
「倒錯した顧客ジャーニー」は、生成AIを悪用する悪意ある行為者の体験や、最も効果的に介入できる地点を理解する助けになるだけではありません。介入策に対して、より現実的なアプローチを促すものでもあります。
受け入れがたい現実ですが、生成AIの悪用を根絶することはできません。十分な資金や資源を持つ悪意ある行為者は、常に技術を兵器化し、安全制限を回避する新たな方法を見つけます。「特効薬」となる技術的解決策を求めたり、悪用され得るツールの全面禁止を求めたりするのは理解できる反応ですが、根本的に誤ったアプローチです。
生成AIの悪用に対する取り組みを根絶という観点で捉えるのではなく、悪用を実質的に減らせる、明確に定めた対策に注力すべきです。戦略的に摩擦点を設けることで、生成AIを悪用するためのアクセス障壁を高められます。
複数のAIサミットで「倒錯した顧客ジャーニー」を紹介してきましたが、これは特に政府や企業にとって有用であることが分かっています。政治家や政策立案者にとっては、生成AIがどのように悪用されるに至るか、ジャーニー上でどの関係者や政策手段が見落とされている可能性があるかを理解するための、直感的な枠組みになります。企業にとっては、自社の製品やサービスが他社のものとどのように結びつき、悪用を助長しているか、また連携してどこに的確な対抗策を導入できるかを明らかにする助けになります。
「倒錯した顧客ジャーニー」に関わるすべての関係者が、それぞれの役割を果たす必要があります。企業の自主的な取り組みや任意の約束は歓迎すべきですが、主要な関係者を協議の場に集めるうえで、政府は依然として重要な役割を担います。「倒錯した顧客ジャーニー」を意図的に助長する悪意ある行為者に対しては、刑事立法と十分な資源を投入した法執行が不可欠です。
