有害コンテンツの深刻度と量は、憂慮すべき速度で増加しています。
これらの問題への対処には、業界全体にわたる多面的なアプローチが必要です。
現実世界の被害に協働して対処するための3つの主要な方法を紹介します。
ユーザー生成コンテンツは、コンテンツの制作と配信を民主化してきました。特に、比較的最近になって短尺・長尺の動画アプリが普及したことで、その傾向は顕著です。料理動画、面白いダンス、旅行ブログに至るまで、利用可能なコンテンツの量と多様性は大幅に増加しています。
現在では、生成AI（人工知能）ツールによって、画像、動画、音声、テキストを生成・改変できるようになったことで、この現象はさらに加速しています。こうした進歩は多くの点で有益である一方、有害コンテンツへの取り組みや、現在および新たに出現する被害に効果的に対処するためのより良い方法の必要性も高めています。
深刻度と量の両面で増加している被害には、性的脅迫（セクストーション）、サイバーいじめ、および動物虐待があり、これらは極めて重要な問題です。これに対処するには、多面的なアプローチが必要です：
1. コンテンツポリシーと実効的な執行
プラットフォームは、許容される利用に関する必要なポリシー、すなわち「コミュニティガイドライン」を定め、AIと人による監視を組み合わせて執行することで、さまざまな被害への対処に取り組んできました。これは効果を上げています。デジタルサービス法の潜在的影響を評価することを目的とした新たな実証研究では、モデレーションが被害の低減に有望であることが確認されました。その程度は、削除までに要する時間、通報の方法（例：信頼された通報者）、そしてプラットフォーム上でコンテンツが拡散する速度に左右されます。研究。
そのため、多くのプラットフォームは、機械学習モデルとAI分類器の活用を通じて、ポリシーの事前的な執行を改善する取り組みを進めています。これは、有害コンテンツが通報される前にそれを特定し、その表示を抑制することを目指すものです。大規模言語モデル（LLM）は自動化を活用する新たな機会をもたらしていますが、多くの分野では訓練を受けたモデレーターがLLMを依然として上回っていることは明らかです。例えば、ヘイトや嫌がらせのように、言語的・文化的な文脈がより多く必要な分野では、ある1つのデータセットによると、この分野においては依然として20％を超える性能差があります。
このアプローチは進化を続けていますが、焦点はコンテンツだけでなく、自動化されたコンテンツ作成者にも当てるべきです。犯罪学者のSameer Hinduja教授は、「ヘイトによる集中攻撃は、これまで数千のボットアカウントによって助長されてきたと指摘しています。また、この生成AIによって、チャンネル、コメントスレッド、掲示板、その他の環境において、このような的を絞った攻撃がさらに速く、広範囲に、より効果的に行われる可能性があると推測するのは妥当です。」
多くのプラットフォームは、新たな被害や脅威の経路を網羅するために、既存のポリシーを更新・詳細化してもきました。例えば、AI生成コンテンツに関しては、Google、TikTok、およびTwitchを含む複数のプラットフォームがこの分野でポリシーを拡充しており、今後も他社が追随する可能性が高いと考えられます。
安全性に関するユーザー体験の多くは、これらのポリシーがどのように定義され、運用されるかに起因します。例えば、プラットフォームが提供されている市場のすべての言語でポリシーが利用可能か、ポリシーがすべてのユーザーに一貫して適用されているか、ユーザーからの通報への対応にかかる時間、コンテンツモデレーションの判断に異議を唱える人々に対して迅速かつ効果的な救済の仕組みがあるか、といった点などです。わずかな期間に分野で見られた変化の速さを考えると、プラットフォームは機敏である必要があり、ポリシーを頻繁に見直し、拡充しなければなりません。
2. コンテンツを超えたシグナルと実現要因
コンテンツそのものを見るだけでなく、より深いレベルで被害に対処するためには、他のシグナルと組み合わせて総合的に判断することが重要です。
こうしたシグナルの一つが金銭の流れです。有害コンテンツの制作者には、金銭的な動機があることが多く、そのコンテンツを消費する人々には、その対価を支払う手段と仕組みの両方があります。これは直接的な支払いの形をとる場合もあれば、広告収入型のプラットフォーム上でコンテンツの収益化を図る場合もあります。
支払いの仕組みについては、違法コンテンツの購入にクレジットカードを使うことは、金融機関の取り組みにより妨げられてきましたが、悪意ある行為者は、暗号資産を含む他の支払い手段を利用するようになっています。動物への危害を伴うコンテンツを求める人々は、モバイル決済の仕組みを利用してきました。これは、電話番号またはメールアドレスを使って、制作者または配信者に即座に支払いができる仕組みです。こうした金銭的インセンティブを追跡し、妨害するには、改善されたブランドセーフティ基準の策定と金融取引の精査が役立ちます。
フォーラムはオンラインの安全性向上のために何をしていますか？
ユーザーおよび行動レベルのシグナルを活用することも、もう一つの重要な手段です。プラットフォームは、アカウントの人気度を調査し、グループがプラットフォーム内の公開グループから非公開グループへと移行している兆候を追跡し、停止・禁止措置を逃れるための重複アカウントの作成を検出することができます。
Hinduja教授はまた、「プロフィール作成時の危険信号をアルゴリズムで特定することの重要性」にも言及しています。例えば、自動生成されたユーザー名（例：ランダムな英数字の文字列）、他の正規アカウントから不正に流用されたプロフィール写真や自己紹介情報、「会話的な話し言葉」における構文上の誤り、投稿への参加時間帯や投稿内容の頻度・反復に関する異常または不安定な行動のシグナル、そして疑わしいソーシャルネットワークのつながり（例：既に確認されたボットアカウントとのつながり、フォロワーとフォロー数の不自然な比率、およびそれらが獲得されたペース）などです。アカウントの認証と検証の仕組みは、こうした回避戦術の一部への対処に役立つ可能性があります。」
3. マルチステークホルダーによる協働
悪意ある行為者はプラットフォームを横断して被害を拡散させるため、業界レベルでこれらの被害に対処する取り組みは、ますます重要になるでしょう。「ほぼ10年にわたり、数十社の企業が、既存の児童性的虐待素材（CSAM）の検出に役立つ技術であるPhotoDNAの共有を行ってきました。これが、今や不可欠となった業界横断的な協力の基準を定めました」と、The Net Safety Collaborativeのエグゼクティブディレクターであり、ソーシャルメディアプラットフォームの安全顧問でもあるAnne Collier氏は述べています。
児童の安全分野におけるTech Coalitionや、テロおよび暴力的過激主義コンテンツ（TVEC）に対処するためのGlobal Internet Forum to Counter Terrorism（GIFCT）などの取り組みは、知見の共有と協力の促進を目指しています。特定の被害類型に焦点を当てたこうした連合に加え、Digital Trust and Safety Partnershipなどの団体は、すべてのポリシー分野にわたる解決策の開発に取り組んでいます。
業界が活用できる被害の類型化、ハッシュ共有データベース、あるいは被害類型をまたぐ悪意ある行為者の動向など、いずれの取り組みであれ、共通の課題に対して共通の解決策で取り組むために業界を結集させる上で、これらの努力は極めて重要です。
テレパフォーマンスは、世界経済フォーラムのグローバル・デジタルセーフティ連合への参加、Trust & Safety Professional Associationへの加盟、Trust & Safety Advisory Councilの立ち上げを通じて、オンライン上の被害への対処には、国境、政策分野、そして業界の垣根を越えて見ることが必要だという認識を示しています。全体として、企業は、新たな脅威の速度と規模に対応し、より体系的なレベルで取り組むために、コンテンツの視点だけにとどまらず、社会的トレンド、ユーザー行動の変化、技術の進歩にも目を向ける必要があります。
