オンライン上のヘイトは、新しく巧妙な形態をとるため、見極めが難しい場合がある。
テック企業は、侮辱的・中傷的なコンテンツの検出や削除を超えて、 被害を受けたコミュニティを守る方向へ進むべきだ。
偽情報、ヘイト、過激主義に新たな方法で対抗すると期待される初期段階の技術を加速させるため、より触媒的な資金が必要だ。
あなたはTikTokの10億人のアクティブユーザーの一人だろうか。それともTwitterを好むタイプだろうか。いずれにしても、オンラインでヘイトに満ちたコンテンツに出くわしたことがある可能性は高い。
ヘイトスピーチはオフラインで始まり、社会への脅威によって加速されることがある。 COVID-19 がその一例だ。パンデミックは、「他者」に対する社会的スティグマと差別の世界的な高まりを招いた。
驚くことではないが、反ユダヤ主義、さらに広くは人種差別が高まっている。ある研究を実施したのはオックスフォード大学で、英国の成人の約20%が「ユダヤ人は経済を崩壊させて金銭的利益を得るためにウイルスを作り出した」や「ムスリムは西洋の価値観への攻撃としてウイルスを広めている」といった発言に賛同していることを明らかにした。
インターネットは、こうした信念が主流になり得る場である。公的・私的生活の新たな中心地として、デジタル空間は、一世代前には考えられなかった国境のない匿名のやり取りを可能にしてきた。
しかし物理的世界とは異なり、インターネットは偽情報やヘイトを爆発的に拡散・増幅させる媒体ともなってきた。テック企業もそれを承知している。2018年、Facebookは自社のプラットフォームが民族的・宗教的な緊張をあおるために使われていたことを認めた ミャンマーのロヒンギャに対するものだった。
オンラインとオフラインの境界が曖昧になり続けるなか、すべての人にとって安全なデジタル空間を確保するという大きな責任が私たちにはある。機会は、偽情報、ヘイト、過激主義に新たな方法で対抗する革新的技術に、触媒的な資金を投じることにある。
ソーシャルメディアのバタフライ効果
たとえツイートの1%しか侮辱的またはヘイトに満ちた発言を含まないとしても、それは毎日500万件のメッセージに相当する。このような拡散の帰結を想像するのは難しくない――1月6日の連邦議会議事堂襲撃事件は、ソーシャルメディアがいかに迅速に暴力を扇動しうるかを痛切に示した。
暴力的過激主義とは異なり、ヘイトスピーチはしばしば微妙であるか、毎日インターネットにアップロードされる膨大なコンテンツの中に紛れ込んでいる。「juice」（ユダヤ人を指す）といった隠語や、このデータベースにあるような）記号は、オンライン上で頻繁に見られる。
これらは、アドボカシー団体や学術機関によっても十分に記録されている。「Decoding Antisemitism」プロジェクトは、（Alfred Landecker Foundation）の助成を受け、言語学から機械学習までの学際的アプローチを活用して、暗号化された隠語や固定観念を分類することにより、明示的・暗黙的なオンライン上の憎悪を特定している。
しかし、課題は中傷的なコンテンツをどう見分けるかではなく、プラットフォームを正確かつ大規模にどう走査するかである。Instagramは、ユーザーに侮辱的なコメントをフィルタリングする選択肢を提供している。 TwitterはFabula AI を買収し、オンライン上の会話の健全性向上を図った。TikTokとFacebookはさらに踏み込み、Safety Advisory Councils や Oversight Boards を設置し、どのコンテンツを削除すべきかを判断できるようにしている。
しかし、これらの取り組みだけでは、テック企業は、偽情報、侮辱的またはヘイトに満ちたコンテンツを文脈、文化、言語に大きく左右されるものであっても、見つけ出して管理できずにいる。
偽情報の暗闇
オンライン上のヘイトは、その形や姿を絶えず変化させ、ますます見つけにくくなっている。Facebookが検出できるのは、改変された動画（"deepfakes"とも呼ばれる）。人工知能（AI）と自然言語処理（NLP）のアルゴリズムは、偽情報を広めるトロールやボットの取り締まりにおいて、まだ十分な速さを発揮できていない。
問いとは、技術が私たちを裏切ったのか、それとも人が技術の使い方を誤ったのか、ということである。
オンラインヘイト対策の4つのP
テック企業は、常に後追いを続けたくないのであれば、検出やコンテンツ管理を超えて、オンライン上でヘイトがどのように生まれ、広がるのかに対する包括的かつ先回りするアプローチへと移行すべきだ（下の図を参照）。
このようなアプローチには、次の4つの目標成果がある：
● 促進：多様性と偏見対策。技術は、オンライン上のヘイトや差別の影響を受ける人々を関与させることで、包括的な方法で設計・開発することができる。例えば、Online Hate Index はAnti-Defamation Leagueが提供するもので、影響を受けるコミュニティをヘイトスピーチの分類に関与させる人間中心のアプローチを用いている。
● 防止：差別と暴力の防止。推薦エンジンのような特定の技術設計は、オンラインでの過激化への道筋を加速させうる。一方で、対抗言論を促進したり、偽情報の拡散を抑えたりする設計もある。私たちは後者をもっと必要としている。
社会的企業が採用するリダイレクト手法は、Moonshot CVEが、暴力的なコンテンツを検索するインターネット利用者を、代替的な語りへと誘導する。
● 保護：脆弱なグループの保護。テック・プラットフォームは主に、ユーザーによる通報とAIによるフラグ付けを組み合わせた、半自動的なコンテンツ管理に注力してきた。しかし、新たなアプローチも現れている。 Samurai Labsの推論マシンは、会話に関与し、それがオンライン上のヘイトやサイバーいじめへと発展するのを食い止めることができる。
● 促進：市民参加の促進。すべての声が届くよう確保し、特に若い世代を含む市民が市民的議論に参加する力を得ることで、有害なスケープゴート化へと逆戻りしない、より強靭な社会を築く一助となりうる。米国では、New/Modeがデジタル・アドボカシー・ツールを活用して、市民が政策変更に影響を与えやすくしている。
初期段階のイノベーションへの資金提供
4つのPに共通するのは、技術の助けを借りて、問題の根本に取り組んでいることである。
実際、もはや技術のための技術ではない。Snapchatのエヴァン・シュピーゲルからSAPのクリスチャン・クラインまで、数十人のCEOがマクロン大統領のTech for Good呼びかけに数カ月前に署名した。
誓約にとどまらず、企業は、使命志向のインキュベーターを設立して技術が善の力となる可能性を生かしている。GoogleのJigsawのようなインキュベーターを設けるほか、基礎研究を促すために資金を配分する例もある。たとえばWhatsAppのAward for Social Science and Misinformation。
さまざまな研究機関との対話、たとえばInstitute of Strategic Dialogue（ISD）との対話を通じて、私は、オンライン上のヘイトや過激主義の分野で技術ツールに対する需要があることを直接学んできた。ソーシャルメディア上でヘイトをリアルタイムに測定することでも、（高い確度での）トロールアカウントやディープフェイクの特定でも、イノベーションの余地がある。
しかし実際には、技術がオンライン上のヘイトを扇動・助長するために使われるペースと多様な方法は、企業が先回りして取り締まれるものより速く、より複雑である。大手プラットフォームがこの難題を解決できないなら、それを解決できる小規模なテック企業が必要だ。だからこそ、リスクの高いイノベーションに対する触媒的な資金提供が鍵になる。
ビッグテックは一歩引くべきだ
COVIDによってヘイトが増加し、新たな解決策への需要が高まるなか、資金提供者や投資家が、営利・非営利の初期段階のテックツールの拡大に関心を持つようになるのは当然のことだ。Seedcampのような確立されたベンチャーキャピタルは、Seedcamp（Factmataへの投資家）や、GoogleのJigsawのような企業は、偽情報、ヘイト、過激主義に対抗するため、オンライン上で供給と需要のギャップを埋め始めている。
しかし、私たちにはもっと必要だ。だから、皆さんにも私と共に加わっていただきたい。
