テック企業、動画上の暴力を検知する競争に

People are silhouetted as they pose with laptops in front of a screen projected with binary code and a Russian national flag, in this picture illustration taken in Zenica October 29, 2014. REUTERS/Dado Ruvic (BOSNIA AND HERZEGOVINA - Tags: SCIENCE TECHNOLOGY)
A dozen or more companies are wrestling with the problem.Image: REUTERS/Dado Ruvic
このページは、生成AIにより自動翻訳されています。

シンガポールからフィンランドまで、各社は人工知能の改良を競っている。ソフトウェアが残虐な殺人や騒乱の動画を自動で見つけて遮断し、ソーシャルメディアで拡散する前に食い止められるようにするためだ。

これまでのところ、この問題を完全に解決したと主張する企業はない。

今週、タイ人の男が11カ月の娘を殺害する様子をFacebookでライブ配信した。この事件は、同社のソーシャルメディア上で生中継された一連の暴力犯罪の最新例となった。これらの事件を受け、Facebookの通報システムの仕組みや、暴力的なコンテンツにより速くフラグを付ける方法を問う声が上がっている。

業界関係者によると、十数社以上がこの問題に取り組んでいる。同様の問題に直面するGoogleは、YouTubeサービス向けに、Facebookは自社向けに、それぞれ解決策を開発している。

大半の企業が注力しているのは、コンピューター化されたニューラルネットワークを利用する人工知能の一種、ディープラーニングだ。パリに拠点を置く画像・動画分析会社Sightengineの創業者、デビッド・リスミル氏によれば、この手法は、脳内でニューロンが働き、相互作用する仕組みを模倣しようとした1950年代の試みにさかのぼる。

人工ニューロンの深い層を使ってコンピューターに学習させる手法が本格的に普及したのは、ここ数年のことだと、別の動画分析会社であるニューヨーク拠点のClarifaiの創業者兼CEO、マット・ザイラー氏は語った。

こうしたシステムを学習させるのに十分な計算能力とデータがそろったのは、比較的最近のことにすぎず、それによって「機械学習の精度と有効性が飛躍的に向上した」とザイラー氏は述べた。

画像を入力する

学習システムでは、まず画像をコンピューターのニューラル層に入力する。するとシステムは、例えば道路標識や動画内の暴力的な場面を識別する方法を「学習」する。

暴力行為には、殴打などの動作や血液が含まれる場合があると、シンガポール拠点のGraymaticsのCEO、アビジット・シャンバーグ氏は言う。エンジニアたちが適切な場面を見つけられないときは、オフィスで自ら撮影する。

ザイラー氏によると、Clarifaiのアルゴリズムは、ナイフや銃など、暴力の前兆となりうる動画内の物体も認識できる。

しかし、限界もある。

一つは、ソフトウェアの性能が学習に使った事例に左右されることだ。誰かが子どもを建物からつるすような行為に及んでも、それを検知するようソフトウェアが必ずしもプログラムされているとは限らない。

「人々がこうした残虐行為をさらに巧妙化させるにつれ、システムにもその内容を学習させる必要がある」と、シャンバーグ氏は語った。同氏の会社は、アジアをはじめ各地の複数のソーシャルメディア企業に代わり、動画や画像のコンテンツをフィルタリングしている。

もう一つの限界は、暴力の判断が主観的になりうることだ。大量の流血を伴う動きの速い場面なら、比較的簡単に検知できるはずだと、フランス拠点のPicPurifyで研究開発責任者を務めるジュンレ・ワン氏は言う。しかし同社は、血液や武器が登場しない暴力的な場面の特定には、まだ取り組んでいるところだ。同僚でCEOのヤン・マレシャル氏によると、心理的な拷問も検知が難しい。

さらに、Graymaticsのシャンバーグ氏によると、ISISの旗のように、本質的には暴力的でなくても不快と見なされるコンテンツもある。その場合、顧客に応じてシステムを調整する必要があるかもしれない。

それでも人間の確認が必要

さらに、フィンランドのValossaの創業者兼CEO、ミカ・ラウティアイネン氏は、自動化は役立つ可能性があるものの、不快または危険と判定されたコンテンツが本物かどうかを確認するには、依然として人間が関与しなければならないと述べた。同社はメディア、エンターテインメント、広告企業向けに、望ましくないコンテンツを検出している。

実際、有望な解決策では、画像そのものにとどまらず、ほかの手がかりも取り入れることになりそうだ。PicPurifyのワン氏によると、例えば動画の再投稿が急増するといった視聴者の反応をアルゴリズムで監視すれば、判断材料になる可能性がある。

KuznechのCEO、マイケル・ポグレブニャク氏によると、ロシアと米国にまたがる同社は、ポルノ画像を検出するアルゴリズム群を拡充した。主に肌の検出やカメラの動きに注目する従来のアルゴリズムに加え、制作スタジオのロゴや警告文の画面を検出するアルゴリズムも導入したという。

Facebookによると、同社は同様の手法を使い、ヌードや暴力、その他のポリシー違反となる話題を検知している。広報担当者は、タイの事件やその他の最近の事件でこのソフトウェアが使われたかとの質問には回答しなかった。

一部の企業によると、追加費用などが一因となり、業界での導入は本来可能な速度より遅れているという。しかし、状況は変わるだろうと各社は見ている。ユーザー生成コンテンツを管理する企業は、今後ますます規制当局からの圧力にさらされる可能性があると、Valossaのラウティアイネン氏は述べた。

「規制が強化されなくても、適切なコンテンツ管理を提供できなければ、オンライン上のブランドイメージに悪影響がますます及ぶことになる」とラウティアイネン氏は言う。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。