世界中で毎日17万5千人以上の子どもがオンラインに接続しており、より多くの子どもたちがウェブを利用する中で、その利点とリスクの両方を経験することになります。
デジタルプラットフォーム上の児童性的虐待素材への対応には、大きな課題が残されています。
セーファー・インターネット・デー2023（2月7日）に際し、子どものオンライン上の安全性を高めうる企業の取り組みの内実を見ていきます。
世界中で毎日17万5千人以上の子どもがオンラインに接続しており、より多くの子どもたちがウェブを利用する中で、その利点とリスクの両方を経験することになります。調査によると、Common Sense Mediaの調査では、8歳という低い年齢の子どもでさえ、かつてないほどソーシャルメディアを利用していることがわかっています。子どものインターネット利用の拡大に伴い、オンライン上での子どもへの虐待や搾取も並行して増加しており、衝撃的なことに、「自己生成型」の虐待画像が360%増加しています。Internet Watch Foundationによると、2020年3月以降の数字です。この傾向は、業界と政府の双方がさらなる措置を講じない限り反転する見込みは薄く、この虐待に対処するための既存の取り組みにおける説明責任、積極性、透明性を確立する必要性は急務となっています。
オーストラリアの2021年オンライン安全法に基づき、オンラインサービスプロバイダーは、eSafety Commissionerから報告を求められた際に、基本オンライン安全基準（BOSE）をどのように実施しているかを報告することが義務付けられています。2022年12月にeSafetyが公表した業界からの最初の回答に基づき、プラットフォームがインターネット上の子どもを虐待や搾取から守るためにどのような措置を講じているかについて、現在はより詳しく把握できるようになりました。
2023年2月7日のセーファー・インターネット・デーにあたり、デジタルプラットフォーム上の児童性的虐待素材（CSAM）への対応における主要な課題と、これらの課題を解消するための潜在的な解決策のいくつかを取り上げます。
世界経済フォーラムは、人工知能の倫理的な開発をどのように確保しているのでしょうか？
新たなCSAMの検出
多くの企業がハッシュ（照合）技術を用いて既存のCSAMを検出している一方で、新たな素材を検出しているプロバイダーは少数にとどまっています。ハッシュ照合ツールが防げるのは、既に特定され確認されたコンテンツの継続的な共有に限られます。一方、人工知能（「分類器」）は、主要な特徴を手がかりに、子どもへの虐待を描いている新たな可能性のある素材を特定するために活用できます。このようにAIを用いることで、CSAMが作成された時点で、データベースに分類または登録される前に拡散を防ぐことができます。その価値は計り知れません。可能性が高いものを特定できます。このように、AIの活用によって、CSAMがデータベースに分類・記録される前の段階で、その拡散を防止できます。その価値は極めて大きいといえます。
ツールの例として、Thornの分類器（子どもの保護に注力する非営利団体Thornによると、適合率は99%とされています）は、新たなCSAMを検出できる技術の一例です。このような分類器は、違法素材への対策全体のプロセスの一環として、人間によるレビューと検証のための案件の優先順位付けに役立ちます。
ライブストリーミングおよび動画コンテンツにおけるCSAMの検出
オンラインサービスプロバイダーは、ライブ配信やビデオ通話・会議における児童性的虐待および搾取を検出するための手続き、ツール、措置をいまだ開発している段階です。調査によると、WeProtect Global AllianceとTechnology Coalitionの調査では、対象企業のうち動画ベースのCSAM分類器を利用しているのは30%にとどまることがわかりました。さらに、わずか22%の企業のみが、ライブストリーミングの文脈でCSAMを検出するために分類器を利用しています。
成人向け性的コンテンツについては、動画内の規約違反コンテンツを検出するために革新的な技術が導入されています。Teleperformanceは、例えば、動画クリップ内のヌードの時間と程度を自動的に測定するツールを活用しており、モデレーターがその露出度がプラットフォームの定めるポリシーに違反するかどうかについて、より効果的な判断を下せるよう支援しています。
ライブ配信やビデオ会議における音声・動画コンテンツへのモデレーション技術の導入は、このようなコンテンツ形式が爆発的に増加している現状を踏まえると、CSAMやその他の違法素材との闘いに大きな影響を与えうるものです。
グルーミングの検出
オンライン・グルーミングとは、「加害者がインターネットを通じて子どもを性的に搾取するために用いる手口」を指します。ブログ記事において、Thornは「グルーミングは不安や信頼の弱みにつけ込むものであり、オンライン環境では様々な方法で信頼を築くことができる」と説明しています。さらに、「グルーミングの結果として作られたコンテンツは、子どもを脅迫や恐喝に用いることができ、子どもが問題に巻き込まれることへの恐怖心を利用して、被害者にさらに行為を強要するものであり、その行為は次第に露骨なものになりうる」と説明しています。
グルーミングを含む、捕食的行動の検出に関しては、わずか37%の調査対象企業のみが、プラットフォーム上でこうした行為を能動的に検出するためにAI分類器を使用しています。グルーミングの行為には様々な種類と深刻度があるため、このようなコンテンツを拡張可能な方法で検出・レビューするための基準を定めることは、より困難となる可能性があります。
ユーザーが規約違反のコンテンツにフラグを付けられる明確な報告の仕組みを整えることで、検出を強化できる可能性があります。「安全性を前提とした設計と基本オンライン安全基準の根幹は、虐待を容易に見つけて報告できる方法にあります。検出されず、報告もできなければ、問題の真の規模を実際に把握することはできません」と、オーストラリアのeSafety Commissionerであるジュリー・インマン・グラントは述べています。
グルーミングやCSAMに対する検出技術に加えて、プロバイダーは年齢確認技術を活用し、成人と子どもの間の望まない接触を防止することもできます。さらに、この種の素材を求めている人々に支援への道筋を示す安全性を促すメッセージは、この行動に対処する予防志向の方法です。IWFが最近開発したチャットボットおよびThe Lucy Faithfull Foundationは、まさにこの目的を果たすことを目指しています。WIREDの報道によると、「このような技術的介入が、潜在的な児童性的虐待素材から人々を遠ざけ、オンラインでのCSAM検索件数を減らすうえで効果をもたらしているという一定の証拠がある」とされています。こうした取り組みは、行動の改善を促し、安全性を前提とした設計のアプローチを根付かせるうえで極めて重要です。このような行動の根本原因への対処に焦点を当てた介入は、子どもの被害および再被害を防ぐうえで不可欠です。
オンライン上の被害に能動的に対処することの重要性はいくら強調してもしすぎることはありません。子どもの安全や、その他のプラットフォーム・ポリシー分野に違反するコンテンツを、より効果的かつ迅速に特定し、適切に対処できるほど、被害者への悪影響は小さくなる可能性が高まります。MIT Technology Review Insightsが、Teleperformanceとの提携のもとに発表した最近のオピニオン・リーダーシップ文書「効果的なデジタル防御の中心にいる人間」では、トラスト＆セーフティの重要性が高まっていることが強調されました。一方で、Gartnerの調査は、2024年までに大企業のほぼ3分の1（30%）が、ユーザー生成コンテンツのコンテンツ・モデレーションサービスを最優先事項と見なすと示唆しています。
この分野で革新を進めるには、技術と人間がより緊密に連携することが不可欠です。コンテンツ・モデレーションの文脈では、MIT Technology Review Insightsの論文は、アルゴリズムをすり抜けたコンテンツにフラグを付けることで、人間が「機械学習のフィードバックループ」を閉じるのにどのように役立つかを明らかにしています。AIはそのデータを用いて、将来より正確な判断を下すようになります。インターネット・サン・フロンティエール（国境なきインターネット）のエグゼクティブ・ディレクターであり、ハーバード大学バークマン・クライン・インターネット＆社会センターの研究員でもあるジュリー・オウォノは、MIT Technology Review Insightsの論文において次のように予測しています。「私が統治（コンテンツ・ガバナンス）という傘の下に含めている、コンテンツ・モデレーションのルールと実践は進化していくでしょう。安全なオンライン空間を求めるユーザー、広告主、政府からの圧力が強まる中で、より共通の基準、そしておそらくは共通の手続きが登場するかもしれません。これには、産業界、市民社会、政府、学術界が協力する、マルチステークホルダーによるアプローチが必要になるでしょう。」
オンラインで子どもを守ることは、このような協力が、コンテンツ・ガバナンスの改善とトラスト＆セーフティへの能動的なアプローチに向けた道筋を築き始めるための出発点となり得るものです。
セーファー・インターネット・デー2023において、Teleperformanceは、人材、技術、プロセスの卓越性という自社の強みを生かし、デジタル安全性の向上に取り組む関係者の拡大する輪に加わります。私たちは、一つひとつのやり取りが重要であると知っているからです。
世界経済フォーラム「デジタル安全性のための連携（Coalition for Digital Safety）」で、このテーマの詳細をご覧ください。
