このインタラクティブマップで、声に表れる感情がわかります

An Italian soccer fan celebrates in downtown Milan during their Euro 2008 Group C soccer match against France June 17, 2008. REUTERS/Stefano Rellandini (ITALY) - GM1E46I0F7Q01
Speaking volumes.Image: REUTERS/Stefano Rellandini
このページは、生成AIにより自動翻訳されています。

歓喜(「やったー!」)から気まずさ(「おっと」)まで、さまざまな感情を表す無意識の声には、今自分が何を感じているかについて意外なほど多くの情報が含まれていることが研究で示されています。

ため息はただのため息ではないことを証明するため、科学者らは、言葉を伴わない感嘆の声「ボーカルバースト」2,000以上に対する聞き手の反応を統計的に分析したところ、少なくとも24種類の感情が伝わることを突き止めました。これまでのボーカルバーストに関する研究では、識別可能な感情の数は13程度とされていました。

この研究結果は、American Psychologistに掲載されており、非言語的な音声コミュニケーションを示す初の音声インタラクティブマップで、鮮明な音と色によって研究の知見を示しています。

Image: Alan Cowen

こちらをオンラインの音声マップにアクセスし、マップ上でカーソルを動かすと、24種類の感情に結び付いた感嘆の声が聞けます。モバイル端末では音声の再生が遅くなることにご注意ください。

「本研究は、感動、敬愛、興味、同情、気まずさなど、2ダース以上の感情を表す短い音声信号を伴う、私たちの豊かな感情的な音声レパートリーを最も広範に示したものです」と、上級著者であり、カリフォルニア大学バークレー校の心理学教授で、本研究の支援を行ったグレーター・グッド科学センターのファカルティ・ディレクターでもあるDacher Keltner氏は述べています。

「え?」と「はっ!」

人類は数百万年にわたり、言葉を使わない発声によって感情を伝えてきました。今回の最新研究が示すように、私たちはその感情を数秒のうちに読み取ることができます。

「私たちの研究結果は、声が感情を表現するための道具として、これまで想定されていたよりもはるかに強力であることを示しています」と、筆頭著者で心理学の博士課程学生であるAlan Cowen氏は述べています。

Cowen氏の音声マップでは、カーソルを感情の地形上で動かし、恐怖(悲鳴)、驚き(はっ)、感嘆(おお)、気づき(ああ)、興味(ん?)、そして最後に混乱(え?)の上にカーソルを重ねることができます。

Cowen氏によれば、このマップは、音声で操作するデジタルアシスタントやその他のロボット機器に、私たちが発する音をもとに人間の感情をよりよく認識させるための学習にも役立つとのことです。

臨床面での活用としては、このマップは、認知症、自閉症、その他の感情処理障害を持つ人々に関わる医療従事者や研究者が、感情に関連する特定の欠損に的を絞るための指針となる可能性が理論上あります。

「このマップには、障害を持つ人が理解しにくい可能性のあるさまざまな音声感情が示されています」とCowen氏は述べています。「たとえば、患者の方が、例えば感嘆と混乱の間の微妙な違いを認識できているかどうかを確かめるために、音を聞いてもらうことが考えられます」

非言語的なシグナル

対象は米国の回答者のみですが、本研究により、人間は、親と乳児の間の絆を育む「クーイング」のような非言語的なシグナルに極めて敏感に反応し、驚きと警戒の微妙な違い、あるいは楽しげな笑いと気まずい笑いの違いも感じ取れることが示唆されています。

たとえば、マップの気まずさの領域にカーソルを置くと、娯楽、気まずさ、ポジティブな驚きが混じったものとして認識できる発声が見つかるかもしれません。

「娯楽を巡ると笑いの豊かな語彙が見えてきます。また、敬愛、同情、恍惚、欲望の音を巡ると、恋愛生活について思っていた以上のことがわかるかもしれません」とKeltner氏は述べています。

2,000の感情的な発声

研究者らは、米国、インド、ケニア、シンガポールから集めた男女56名のプロの俳優および非俳優に、感情を喚起するシナリオへの反応を求め、2,000回以上のボーカルバーストを記録しました。

次に、Amazonのオンラインマーケットプレイス「Mechanical Turk」を通じて募集した1,000人以上の成人が、ボーカルバーストを聞き、伝わる感情や意味、トーンがポジティブかネガティブか、そのほか複数の特性に基づいて評価しました。

回答を統計的に分析したところ、ボーカルバーストは、娯楽、怒り、感嘆、混乱、軽蔑、満足、欲望、失望、嫌悪、苦痛、恍惚、歓喜、気まずさ、恐怖、興味、痛み、気づき、安堵、悲しみ、驚き(ポジティブ)、驚き(ネガティブ)、同情、勝利など、少なくとも2ダース以上の明確なカテゴリに分類されることがわかりました。

研究の第2段階では、研究者らはボーカルバーストに現実世界の文脈を与えることを目指しました。そのため、第1段階で示された24の感情を喚起するYouTube動画クリップ(赤ちゃんが転ぶ、子犬が抱きしめられる、魅惑的なマジックなど)を抽出しました。

今回は、あらゆる年齢の成人88名が、YouTube動画から抽出されたボーカルバーストを評価しました。研究者らは、回答を再び24種類の感情の色合いに分類しました。その後、データ全体を意味空間に整理し、インタラクティブマップ上に表示しました。

「これらの結果は、感情表現が、偽ることの難しい、内面の感情の生き生きとした表明によって社会的なやり取りに彩りを与えること、そして友人、同僚、家族が、私たちの本当の思いを読み取るためにそれに頼っていることを示しています」とCowen氏は述べています。

ミズーリ州セントルイスのワシントン大学およびストックホルム大学の研究者も本研究に参加しました。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。