研究者たちはAIを使い、非常に本物らしい偽のオンラインレビューを書けるソフトウェアを開発した。
この技術は、YelpやAmazonのようなサイト、そしてそれらに依存する企業にとって大きな脅威だ。
さらに、AIが巧妙な文章を書き、公衆の信頼を損ない、フェイクニュースを広める未来を予感させる。
多くの人にとって、レストランやホテルを探す際、オンラインレビューがまず頼りにする情報源となっている。
そのため、レビューは多くの企業にとって生命線となっている。サービスや商品の品質を記録する恒久的な記録だ。そして企業は、不満を抱えた競合相手や怒った顧客が投稿する、不公正なレビューや偽レビューを常に警戒している。
しかし、オンラインレビューの世界には間もなく大きな新たな脅威が訪れる。人工知能（AI）が自動生成する偽レビューだ。
野放しになれば、レビューサイトの信頼性を取り返しのつかないほど損なう可能性がある。また、この技術は社会や信頼、フェイクニュースに、はるかに広範で、より憂慮すべき影響を及ぼしかねない。
「全般的に見て、脅威はもっと大きい。社会全体や、現実に幻滅したユーザーへの脅威、そして何が現実で何がそうでないかという私たちの信念を揺るがすことは、さらに根本的な問題になると思う」と、シカゴ大学のコンピューターサイエンス教授、ベン・Y・ジャオ氏はBusiness Insiderに語った。
偽レビューは検出不能で、信頼できるとみなされる
シカゴ大学の研究者（ベン・ジャオ氏を含む）は、論文を執筆した（「オンラインレビューシステムにおける自動クラウドターフィング攻撃と防御」）。この論文は、AIを使って、現在の手法では検出できないだけでなく、事情を知らない読者から非常に信頼できるとみなされる巧妙なレビューを作成できることを示している。
この論文は今年後半、ACMコンピューター・通信セキュリティ会議で発表される予定だ。
合成レビューの例を一つ紹介しよう。「この店が大好きです。兄弟と行って、ベジタリアンパスタを食べましたが、とてもおいしかったです。ビールもおいしく、サービスも素晴らしかったです。朝食を楽しめる素敵な場所を探している人や、お得な小さなお店を探している人には、ぜひおすすめしたいです。」
このレビューに、すぐにおかしいと思う点はない。具体的なおすすめと信じられそうな背景が書かれている。最後の「お得な小さなお店」という表現は少し奇妙だが、それでも人間が使いそうな言い回しとして十分にあり得る。
しかし実際には、オンラインで自由に入手できる何千もの本物のレビューを使って学習させた後、リカレントニューラルネットワーク（RNN）と呼ばれる深層学習技術で生成された。（下にスクロールして、さらに多くの偽レビューで腕試しをしてみよう。）
研究者たちは、合成レビューは本物と「事実上見分けがつかない」と記した。「ユーザー調査（=600）を実施し、これらの偽レビューは実際のユーザーに一貫して検出されないだけでなく、人間が書いた本物のレビューと同程度に、ユーザーから『有用』と評価されることを示した。」
レビューが本物らしいだけでなく「有用」とみなされるのは重大だ。人々の意見に悪意をもって影響を与えるという目的を果たしていることを示している。
また、レビューは盗用検出ソフトウェアにもほとんど検出されない。特に独自性を優先する設定ではそうだ。既存レビューの単語を入れ替えるだけではなく、一文字ずつ生成される。「大量の本物のレビューを誤って検出することなく、剽窃チェッカーで機械生成のレビューを見つけるのは依然として難しい」と研究者たちは記した。「これは、RNNが学習データセット内の既存レビューを単純にコピーしていないことを示している。」
この技術はまだ実際の人々には使われていない
人間が書く偽レビューの闇市場は、すでに急速に拡大している。探し方を知っていて、手元にいくらかお金があれば、自分のビジネスに好意的なレビューを書いてもらったり、競合相手に否定的なレビューを書いてもらったりできる。
しかしジャオ氏によれば、AI生成レビューには「その業界を一変させる」可能性がある。
以前なら攻撃者は質の高いレビューに相当な金額（Yelpでは1件あたり1～10ドル）を支払わなければならなかったかもしれないが、今では無料で何千件も生成し、疑われないよう間隔を空けて投稿できる。これにより、偽レビューがもたらす脅威は大幅に高まる。
ジャオ氏は、現実の世界でAIを使って悪意ある偽レビューを生成した例は、まだ見たことがないと語った。
しかし研究者たちが開発したものと同様のシステムを構築するのに、「それなりの技術力がある」人なら「ほとんど時間はかからない」。必要なのは市販の一般的なコンピューター機器と、本物のレビューのデータベース（オンラインで簡単に見つかる）だけだ。
レビューサイトにとって存続を脅かす危険だが、防御策も考えられる
工業規模で作られる偽レビューは、ユーザー投稿型レビューサイトのYelpのような企業にとって大きな脅威だ。Yelpはレビューの信頼性と有用性を売りにしている。ウェブサイト上のレビューがどれも偽物かもしれないとしたら、誰が信頼するだろうか。
Amazonのような小売業者も危険にさらされている。ただしジャオ氏は、少なくともAmazonなら、レビュー投稿者がその商品を購入したかどうかを確認できると指摘する。
しかし研究者たちは、この攻撃に対抗する方法となり得るものも見つけた。偽レビューは人間には本物と同じに見えるかもしれないが、コンピュータープログラムは、調べるべき点を知っていれば、微妙な違いを検出できる。特に文字（a、b、c、dなど）の分布に違いがある。
偽レビューは本物のレビューをもとに作られ、その過程で一部の情報が失われる。偽レビューでは流暢さと本物らしさが優先されるため、文字分布のような目立ちにくい特徴は損なわれる。
「学習中に生じた情報損失は生成されたテキストにも伝わり、生成テキストと人間のテキストの基礎となる文字分布に、統計的に検出可能な差が生じる」と研究者たちは記した。
ジャオ氏によれば、攻撃者はより高価なコンピューター機器を購入し、それを使ってさらに高度なニューラルネットワークを生成することで、こうした対策を回避しようとすることができる。しかし、少なくともこうした防御策を採用すれば「攻撃者にとってのハードルが上がり」、大半の攻撃者がすり抜けるのは難しくなる。
最も熱心な攻撃者以外が諦めるほど成功攻撃のコストを引き上げられれば、「実質的には勝利だ」と同氏は述べた。「セキュリティがするのは、攻撃者のハードルを上げることだけだ。本当に決意が固く、機知に富んだ攻撃者を完全に止めることはできない。」
Yelpの広報担当者レイチェル・ヤングブレード氏は、メールでの声明で、Yelpは「この調査が、システムを不正に利用する試みが進化し、ますます巧妙化するなか、Yelpのようなレビューサイトがコンテンツの完全性を守るうえで直面する大きな課題に光を当てたことを評価しています。Yelpは10年以上にわたってコンテンツを守るシステムを導入してきましたが、だからこそ、偽レビューだけでなく、偏りのあるコンテンツや役に立たないコンテンツも検出できるよう、システムの改良を続けています。この調査の著者がYelpのシステムを『グラウンドトゥルース』として用い、その有効性を認めてくださったことに感謝します」と述べた。
「この調査は本物らしく見えるレビュー文の作成だけに焦点を当てていますが、Yelpのおすすめソフトウェアは、より総合的なアプローチを採用しています。レビューをおすすめするかどうかを判断する際、テキスト内容だけでなく多くのシグナルを利用します。また、実在の人物によるレビューでも、価値に乏しかったり偏りが含まれていたりすれば、おすすめしないことがあります。」
レビューにとどまらない……
レビューは、文章生成技術の検証を始める場として、ある意味理想的だ。目的と方向性が明確で、単一のテーマを扱い、かなり標準的な構成に沿っており、短い（ジャオ氏によれば、偽レビューが長くなるほど、正体がばれる間違いをする可能性が高くなる）。
しかし、この技術はそこで終わるわけではない。
「全般的に見て、脅威はもっと大きい。社会全体や、現実に幻滅したユーザーへの脅威、そして何が現実で何がそうでないかという私たちの信念を揺るがすことは、さらに根本的な問題になると思う」とジャオ氏は語った。「ですから、まずはオンラインレビューから始めています。誰かがレストランや商品について書いたことを信頼できるでしょうか。しかし、これは進展していくでしょう。」
「さらに大きな攻撃へと進み、ブログの記事全体が、あるテーマに沿ってロボットによって完全自動生成されるようになるかもしれません。そうなれば、情報はどこから来るのか、どう検証できるのかを真剣に考えなければなりません……それが今後数年間、私たち全員にとってはるかに大きな課題になると思います。」
Business Insiderは以前、このテーマについて、AIやコンピューター生成画像（CGI）の進歩が「フェイクニュース」をあおる可能性を取り上げた記事や、情報戦から「リベンジポルノ」まで、より広範な分野に影響を及ぼす可能性を扱ってきた。
ジャオ氏によれば、同氏のメッセージは「シンプル」だ。「この種の攻撃経路が、きわめて現実的で差し迫った脅威であることに、人々に注意を向けてほしい」。YelpやAmazonのような企業に対し、技術者たちがすでに検討を始めていないなら、防御策を考え始めるよう促している。
教授は、「この特定の攻撃に対する防御策の設計だけでなく、非常に優れたAIがもたらす脅威を、もっと日常的な観点から多くの人が注視し、考えるようになることにも、より多くの関心が集まってほしい」と願っている。
「多くの人がシンギュラリティやスカイネットを、AIの危険性を端的に示すものとして注目していると思います。しかし、非常に優れたAIには、もっと現実的で実際に大きな影響を及ぼす脅威が数多くあり、これは氷山の一角にすぎません。」
同氏はさらにこう述べた。「セキュリティコミュニティの人々にも私と一緒に、こうした問題に取り組んでほしい。そうすれば、追いつける見込みが生まれます。AIの進歩の速度と加速は非常に大きく、今すぐ防御策を検討し始めなければ、決して追いつけないかもしれません。」
レビューが本物かどうか見分けられますか？
最後に、6件のレビューを紹介する。そのうちいくつかはシカゴ大学の研究者たちのニューラルネットワークが生成したもので、残りは論文で引用された本物のレビューだ。どれが本物で、どれが偽物か見分けられるだろうか。
1. イタリアンレストランではここが断然いちばんのお気に入りです。テイスティングメニューが大好きで、どれも最高です。カルパッチョとアスパラガスがおすすめです。残念ながら、知名度が上がり、人気の時間帯に予約を取るのが難しくなってきました。
2. 家族みんなでこの店の大ファンです。スタッフはとても親切で、料理もおいしいです。チキンはとてもおいしく、ガーリックソースも完璧です。フルーツをのせたアイスクリームもおいしいです。ぜひおすすめします！
3.毎年クリスマスの時期にここへ来ます。パスタが本当に大好きです！値段に見合う価値があります！
4. ピザもラザニアも絶品で、これまで食べた中でも最高のホタテの一つでした。デザートの種類も豊富で、素晴らしかったです。
5. ここの料理はものすごくおいしく、量もたっぷりです。チーズベーグルは完璧に焼き上げられ、丁寧に調理されていて、新鮮でおいしい！サービスも迅速でした。間違いなく私たちのお気に入りの店です。また来ます！
6. 1年半ほどこの店を利用していますが、褒めることばかりです。いつもピザを頼みますが、イタリアンビーフもおいしく、感心しました。サービスは素晴らしく、これまで受けた中で最高でした。ぜひおすすめします。
答えは？
1 は本物、2 は偽物、3 と4 は本物、そして5 と6 は偽物だ。
