昔々、荒らしとは、子ども向けのおとぎ話で橋の下に潜む恐ろしい生き物だった。
今日では物語のページを飛び出して画面の中に現れ、オンラインニュースサイトやソーシャルメディアの投稿のコメント欄に潜んでいる。
「荒らし行為」には、軽い侮辱から、有名シェフの料理に対するレビュー、さらにはレイプや殺人の脅迫まで、あらゆるものが含まれる。
ソーシャルメディア各社が荒らしを撃退しようとする最新の取り組みとして、Instagramは発表した。ユーザーの投稿に荒らしのコメントが現れるとすぐに、人工知能（AI）を使って事実上削除するという。
Instagramは、親会社Facebookのディープラーニング技術であるDeepTextプログラムを活用し、不快とみなされるコメントを除外している。この技術はもともと、ユーザーが投稿やコメントで使った単語やフレーズに基づいてFacebookのフィードを最適化するために開発された。
荒らしを撃退する
荒らし行為は、ソーシャルメディアが登場して以来、各社を悩ませてきた。
ピュー・リサーチ・センターの調査によると、米国のインターネット利用者の4人に1人が嫌がらせを受けた経験があった。18～24歳では、この割合は70％に上った。
しかし、ソーシャルネットワークは政治的議論などの場としても使われるため、運営企業は積極的に「取り締まる」役割を担うことに消極的だった。
「私たちは言論の自由を抑え込むためにここにいるのではありません」と、InstagramのCEO、ケビン・シストロムは、新しいAIコメントフィルターについてWiredの取材に応じて語った。
Instagramのような企業は制限を設けたくないかもしれないが、利用者を維持し増やしたいなら、何もしないでいるようにも見られかねない。ピューの調査では、ネット上で嫌がらせを受けた人の10人に1人が、被害に遭ったソーシャルネットワークを離れた。
シストロムは、自社の新しいコメントフィルターを「Instagramで思いやりがあり、誰もが受け入れられるコミュニティを育むという私たちの取り組みにおける次の一歩」と紹介した。
これは、昨年導入されたキーワードフィルターに続くものだ。この機能では、Instagramの利用者が不快または不適切だと考える単語を登録し、それらを含むコメントをブロックできた。
Instagramの最新フィルターは、これを手動のプロセスから自動のプロセスへと切り替えるものだ。
仕組み
荒らしへの対策に乗り出す前、InstagramはまずFacebookのDeepTextアルゴリズムを使い、ソーシャルネットワークのもう一つの悩みの種であるスパムに対処した。
このスパムフィルターは、Instagramの従業員がコメントを選別し、スパムとみなしたものをDeepTextに入力して、スパムに分類されるコメントを認識できるよう学習させて開発された。
Wiredによると、DeepTextはメッセージの内容だけでなく、その発信元によってもスパムを見分けるよう学習した。フォローしている人からのコメントは、知らない人からのメッセージよりスパムである可能性が低い。
昨年の導入後、スパムフィルターの成果に手応えを得たInstagramは、荒らしへの対策に目を向けた。
同じ手法が用いられ、人間が不快なフレーズを分類してDeepTextに入力した。
このフィルターはInstagramアカウントに自動的に追加されるが、コメント設定からオフにできる（下記参照）。
フィルターをオンにすると、敵意のあるコメントや嫌がらせのコメントは表示されなくなる。ただし、入力した本人には引き続き表示される。これは、荒らしがフィルターの仕組みを探り、回避策を見つけるのを防ぐためのInstagramの試みだ。
誤検知の問題
Instagramの不快なコメントを除外するフィルターは、現在英語でのみ利用できる。一方、スパムフィルターはスペイン語、ポルトガル語、アラビア語、フランス語、ドイツ語、ロシア語、日本語、中国語にも展開されており、複数の言語で荒らしがブロックされるようになるのも時間の問題だろう。
しかし、言語の複雑さゆえに、InstagramのようなAIベースの解決策には課題もある。
コーネル大学の研究では、自動的なヘイトスピーチ検出を調べた結果、潜在的に不快な単語を列挙するだけではTwitter上のヘイトスピーチを特定するには不十分だと分かった。重要なのは文脈だった。
同様に、誤検知が起こる可能性もあり、攻撃的でないツイートが、含まれる単語の一部を理由にブロックされることがあった。
Instagramのフィルターの性能を疑問視したWiredは、誤検知されそうな文をいくつかInstagramに提示した。その中には、次の文も含まれていた。
「今週末は酒を買わず、タバコを20本買っただけ。まだ40ポンド持ってる、マジで誇らしい。」
この文では明らかに、タバコを指す英国の俗語として使われているが、「fags」は米国では同性愛者を侮蔑する言葉でもあるため、コーネル大学の研究者のシステムはヘイトスピーチとして検出した。
Instagramは、これらの具体的な誤検知の文についてコメントを控えたが、シストロムは「私たちの取り組みは、まだ完成にも完璧にも程遠い」と認めている。成功かどうかを判断するには時間がかかると、Wiredに語った。
フィルターが「問題を引き起こし」、嫌がらせではないコメントをあまりにも多くブロックするようなら、「廃止して、新しいものを一から始める」と彼は述べた。
