読者の皆さまへ：この記事は、コンテンツを常習的に歪曲し、誤情報を拡散するウェブサイトにも掲載されています。以下の点にご留意ください。
1）この記事の内容は著者の見解であり、世界経済フォーラムの見解ではありません。
2）記事をぜひご自身でお読みください。フォーラムは幅広い声を掲載することに尽力しており、コンテンツの歪曲は開かれた対話を損なうだけです。
世界人口の63％がオンラインにつながるなか、インターネットは社会を映す鏡です。あらゆる言語が使われ、あらゆる意見が存在し、さまざまな人々（時には好ましくない人々も）が集います。
インターネットの進化とともに、オンライン上の危害をめぐる暗い世界も広がってきました。信頼と安全を担うチーム（通常、オンラインプラットフォーム内で、虐待的なコンテンツの削除やプラットフォーム方針の徹底を担当するチーム）は、児童虐待、過激主義、偽情報、ヘイトスピーチ、詐欺など、増え続ける不正行為に直面しています。さらに、プラットフォームを独自の方法で悪用する行為者も、ますます高度化しています。
しかし、解決策は、コンテンツモデレーターをさらに大勢雇ったり、ブロックリストをもう一つ作ったりするほど単純ではありません。さまざまな種類の虐待に精通し、ヘイトグループ特有の言い回しを理解し、テロリストが使う言語に通じ、偽情報キャンペーンを細やかに把握していなければ、信頼と安全を担うチームは表面をなぞることしかできません。
より高度なアプローチが必要です。革新的なテクノロジーの力、プラットフォーム外での情報収集、そして脅威行為者の活動を理解する分野の専門家の能力を独自に組み合わせれば、オンライン上の嫌がらせを大規模に検知し、ほぼ完璧な精度を実現できます。
オンライン上の不正行為は複雑化している
インターネットの登場以来、戦争が起こり、景気後退が訪れては去り、新たなウイルスが甚大な被害をもたらしてきました。こうした出来事の受け止め方にインターネットが重要な役割を果たした一方で、極端な意見の過激化、偽情報の拡散、児童性的虐待コンテンツ（CSAM）の広範な流通といった変化も、インターネットによって可能になりました。
こうした不正行為を阻止しようとするオンラインプラットフォームの取り組みは、ロードランナーとワイリー・コヨーテの追いかけっこのような状況を招いています。脅威行為者は、進化する検知の仕組みを回避するため、ますます巧妙な手口を使います。その結果、新たな隠語も生まれました。たとえば児童を標的とする者は、「児童ポルノ」の代わりに「チーズピザ」や、cとpの文字を含む別の用語を使います。偽情報サイトへの言及を隠すためにURL短縮サービスを使うなど、新たな手法も用いられています。また、少数派への攻撃をプラットフォーム外で調整するなど、オンライン上の嫌がらせの手口も見られます。
従来の方法では不十分
有害コンテンツの検知方法の多くは、人工知能（AI）を基盤としています。この強力なテクノロジーは、大規模な学習データセットを活用し、規約違反の行為を大規模かつ迅速に特定します。既知のオンライン上の不正行為を、なじみのある言語で集めたデータセットを使って構築されているため、AIはそうした不正行為を同じ言語で検知できます。しかし、学習していない言語での微妙な違反の検知は苦手であり、脅威行為者がつけ込める大きな抜け穴になっています。
AIは速度と規模をもたらす一方で、信頼と安全に関わる業務に欠かせない文脈の理解を欠いています。たとえば、露出を検知できる高度なAIモデルはありますが、その露出がルネサンス期の絵画の一部なのか、ポルノ画像なのかを見分けられるモデルはほとんどありません。同様に、動画に映るナイフが肉屋の道具を宣伝するために使われているのか、暴力的な襲撃に使われているのかを判別できないモデルが大半です。文脈を理解できないと、モデレーションが過剰になってオンラインプラットフォーム上の言論の自由を制限する恐れがある一方、不十分になれば利用者の安全を脅かす可能性があります。
AIとは対照的に、人間のモデレーターや分野の専門家は、ニュアンスを含むオンライン上の嫌がらせを検知し、多くの言語や文化を理解できます。しかし、その精度は分析担当者の専門分野に限られます。欧州の白人至上主義を専門とする人間のモデレーターが、インドの有害コンテンツやケニアの偽情報の言説を必ず認識できるとは限りません。この専門性の偏りを補うには、人間のモデレーターを大規模で強固なチームの一員とする必要があり、多くのテクノロジー企業にとって大きな負担です。
人間にかかる負担も見過ごせません。忌まわしいコンテンツをオンラインから排除する任務を負う何千人ものモデレーターは、そのコンテンツを自ら目にしなければならず、精神疾患やトラウマ関連障害の高いリスクにさらされています。モデレーターへの配慮に加え、高い離職率や人員配置の不安定さは組織の安定性を損ない、避けがたいモデレーション上のミスを招くため、業務の有効性も低下しかねません。
オンライン上の嫌がらせを検知する「信頼と安全」のインテリジェントな解決策
AIが速度と規模をもたらし、人間のモデレーターが精度を高めても、両者を組み合わせるだけでは、危害がプラットフォームに届く前に先回りして検知するには不十分です。先手を打つには、信頼と安全を担うチームが、虐待的なコンテンツは自社のプラットフォーム上だけで生まれたり、そこで止まったりするわけではないと理解する必要があります。大手プラットフォームに現れる前、脅威行為者はウェブの最も暗い片隅に集まり、新たなキーワードを決め、関連リソースのURLを共有し、新たな拡散手法を詳しく話し合います。テロリスト、ヘイトグループ、児童を標的とする者、偽情報工作員が自由にやり取りするこうした秘密の場所には、利用者の安全を守ろうとするチームにとって、貴重な情報が眠っています。
問題は、こうした情報へのアクセスを大規模に実現する方法がまったくないことです。従来型の情報収集には、綿密な調査、専門知識、アクセス手段、そして相当な情報整理能力が必要です。これらは機械では再現できない人間の能力です。
情報を組み込む
規模を担うAIアルゴリズムと精度を担う人間のモデレーターという標準的なプロセスでは、規模、新規性、ニュアンスのバランスを十分に取れないことを確認してきました。また、プラットフォーム外での情報収集は文脈やニュアンスを補えるものの、規模と速度には対応できないことも確認しました。
従来の検知手法の限界を克服するため、私たちは新たな枠組みを提案します。AIに大規模な検知を任せ、人間が境界事例を確認するという方法に頼るのではなく、情報に基づくアプローチが不可欠です。
人間が精選した多言語のプラットフォーム外情報を学習データセットに取り入れれば、AIはニュアンスを含む新たなオンライン上の不正行為を、大手プラットフォームに届く前に大規模に検知できるようになります。こうして高度化した自動検知を、人間の専門知識で補い、境界事例を確認して偽陽性と偽陰性を特定し、その結果を学習データセットに戻すことで、人間の知性を組み込んだAIを実現できます。このより知的なAIは、モデレーションの判断を重ねるたびに高度化し、最終的には大規模かつほぼ完璧な検知を可能にします。
成果
新たな嫌がらせの手口が現れてからAIがそれを検知できるようになるまでの遅れが、オンライン上の嫌がらせの拡大を許しています。コンテンツモデレーションのプロセスに情報を組み込めば、新たなオンライン上の不正行為が始まってからAIが検知できるようになるまでの時間を、チームは大幅に短縮できます。こうして信頼と安全を担うチームは、脅威がオンライン上で広がり、利用者に届く前に阻止できます。
