ねえ、君!研究者たちはAIにスラングの使い方を教えている

A "Nao" humanoid robot performs during an exhibition at the CP All Acadamy in Bangkok, Thailand March 16, 2017. REUTERS/Athit Perawongmetha - RTX319O2
"We assign mathematical values to words and groups of words and use them to successfully read text and derive meaning."Image: REUTERS/Athit Perawongmetha
このページは、生成AIにより自動翻訳されています。

クリストファー・マニングは自然言語処理を専門としている。自然言語処理とは、書き言葉や話し言葉の意味や感情を理解し、適切に応答できるコンピューターアルゴリズムを設計することだ。

彼の研究は、スマートフォンや、人間の言語間でテキストを翻訳するオンラインアプリケーションに見られる音声操作システムと深く結びついている。彼は、人工知能の一分野であるディープラーニングを用いて、意味を理解し、言語の新しい使い方や変化する使い方に適応する方法を自ら学べるアルゴリズムを設計している。

スタンフォード大学のアンドリュー・マイヤーズは最近、コンピューターサイエンスと言語学の教授であるマニングに、ようやく広く一般に知られ始めたこの研究について話を聞いた。

質問:あなたの研究を、まったくの初対面の人にどう説明しますか?

回答:私の専門は自然言語処理、別名、計算言語学です。コンピューターシステムがテキストや人間の言語に対して適切に応答できるようにする研究です。

私は言葉の意味に注目しています。GoogleやSiri、Alexaに話しかけると、音声認識は非常に優れていますが、半分くらいは意図を理解できず、「その内容をウェブ検索しましょうか?」と尋ねてきます。

質問:言語に関心を持ったきっかけは何ですか?

回答:若い頃はコンピューターサイエンスと人工知能に強い関心がありましたが、文法構造や複雑さを持つ人間の言語にも魅了されました。言語学や言語そのものの研究に関心がありましたし、計算の側面にも興味がありました。文がどのように組み立てられて意味や感情を生み出すのか、また比喩がどのように生まれるのかに関心を持つ人々には、その側面が魅力的です。

質問:この分野は、年月とともにどのように発展してきましたか?

回答:初期には、主語、名詞、節、動詞を含む述語、その後に名詞句が続く場合や前置詞句が続く場合など、文法の記号的な規則を書き出すことが中心でした。人々は文法や語彙体系を再現しようと何年も取り組みました。ごく限られた文脈ではうまく機能しましたが、意味の理解にまで広がることはありませんでした。

その後、90年代に、膨大な量の言語データがデジタル化され、オンラインで利用できるようになったことで、最初の革命が起きました。人々はその膨大なデータを分析する統計的手法を探り、どの言葉が一緒に現れて意味や感情を生み出しやすいかを示す確率モデルを構築し始めました。

文法規則は、コミュニケーションや自然に聞こえることとはほとんど関係がありません。誰かに近づいて「おはようございます。今朝はいかがお過ごしですか?」と言うことはできます。完全に正しい表現ですが、そんな言い方をする人はいません。「やあ、調子はどう?」と言います。言語の大部分は、人々がその言語をどう使うかに関する、こうした微妙な選択から成り立っています。

自然言語処理では、コンピューターに世界を理解させる必要があります。どうすればよいでしょうか。とても有効な方法の一つは、世界についてすでに書かれている膨大な量の文章を利用することです。世界中の書き手が毎日、私たちの世界とその仕組みについて書いています。私たちは、言葉や語のまとまりに数学的な値を割り当てる計算モデルを作り、それを使ってテキストを読み取り、意味を導き出します。

質問:自然言語処理は、言語の新しい使い方や新語、スラングに適応できますか?

回答:それは初期の手法の大きな限界の一つでした。言葉の使い方や意味は時間とともに変化し、ときには驚くほど大きく変わることがあります。「terrific」という言葉は、かつて「恐怖を感じさせるもの」という非常に否定的な意味でした。肯定的な意味で使われるようになったのは、ごく最近のことです。

私が取り組んできた分野の一つがこれです。たとえ以前の意味で学習した自然言語処理でも、「terrific」のような言葉を見て、肯定的な文脈を認識できます。時間とともに起きる意味の微妙な変化を捉えるのです。現実世界で言語が使われる様子を調べて学習します。

質問:言語ごとに、この学習過程を繰り返す必要がありますか?

回答:私たちは機械翻訳に多く取り組んできました。異なる二つの人間の言語の間で、どうすれば自動翻訳できるでしょうか。

分かってきたのは、すでに翻訳された大量のテキストが存在し、それが新しいテキストを翻訳する確率モデルを構築するための文脈を与えてくれるということです。Google翻訳は2005年頃にこの方法を採用しました。精度は高くありませんでしたが、役には立ちました。ページの内容をおおまかにつかむことはできましたが、翻訳で文法的に正しい文が得られるとは到底期待できませんでした。

最近、ディープラーニングやニューラル機械翻訳の手法によって、翻訳の質が大きく向上しました。これらの手法はスタンフォード大学やモントリオール大学でも研究されてきました。現在、Google、Microsoft、Baiduはいずれも翻訳にニューラル機械翻訳システムを使っていますが、まだ解決にはほど遠い問題です。20年後も人々はこの研究に取り組んでいるでしょう。

質問:あなたの研究は、Siri、Alexa、Google Voiceのような音声ベースのシステムにどのように取り入れられていますか?

回答:私たちはこれを対話エージェントと呼びます。話し言葉の意味を理解し、発話内容に基づいてタスクを実行しようとするプログラムです。質問と半ばしか関係のないでたらめを繰り返すチャットボットを作るのは簡単ですが、人々が求めることを理解し、実行できる対話エージェントはどうすれば作れるでしょうか。

実現への一つの方法は、FreebaseやWikidataのように、構造化された事実を含む公開データをもとに、先ほど話したような文脈化を構築することです。残念ながら、現状ではそうした構造を人手で作らなければなりません。

目指すのは、ウィキペディアやオンライン新聞を読み取って、それらを自動で構築する技術です。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。