脳は音声に同調するだけでなく、手話のリズムも捉える

Students Josh Farabee (L), and Rowan Brothers (R), work on signing during sign language class at the Pride School in Atlanta, Georgia, U.S. on December 7, 2016. The Pride School is a K-12 school for LGBT+ students and others that benefit from alternative educational resources. Picture taken on December 7, 2016. REUTERS/Tami Chappell - RTX2VNUS
Neuroscientists want to understand how the human brain creates and perceives language.Image: REUTERS/Tami Chappell
このページは、生成AIにより自動翻訳されています。

脳が音声のパターンに同調する仕組みは、話し言葉の理解に限られないことが新たな研究で示唆された。エントレインメントと呼ばれるこの過程は、手話の理解にも関わっている。

人間の脳はリズムと周期に沿って働く。こうしたパターンは予測可能な周波数で生じ、その人が何をしているか、また行動中に脳のどの部分が活動しているかによって異なる。

同様に、私たちの周囲の世界にもリズムやパターンがある。過去20年にわたり、科学者たちは脳がこうしたパターンに「エントレイン」する、つまり同調する能力に困惑してきた。

科学者が神経エントレインメントを観察する領域の一つが言語だ。人が音声を聞くと、脳波は聞こえてくる音量の変化に基づくリズムに同調する。人は周囲で起きているすべてに同時に注意を向けることはできないため、この位相同期は、重要な情報がいつ現れるかを予測する助けになると考えられている。

脳が好む周波数

言語処理におけるこの現象は多くの研究で記録されてきた。しかし、神経エントレインメントが話し言葉に特化したものかどうかを見極めるのは難しかった。

「言語に対する神経エントレインメントが音声に特化しているのか、それとも時間的に予測可能なあらゆるものに人間が使える汎用的な機能なのかを判断するには、音声の外、そして聴覚知覚の外に出る必要がありました」と、研究の筆頭著者でシカゴ大学心理学部の博士課程学生であるジェフリー・ブルックシャーは述べる。

「手話を調べることで、脳が言語をより一般的にどのように処理するかについて学べます。音声だけを研究していては解けなかった謎に取り組んでいるのです」と、同大学のExperience and Cognition Lab(経験・認知研究室)の責任者で、心理学の助教を務めるダニエル・カササントは述べる。

音声を聞くと、脳は音節、単語、句に同調し、そのリズムは8 Hz(1秒あたり8回の脈動)未満で生じる。視覚にも、それが同調しやすい好みの周波数がある。

「たとえば、ランダムに点滅する光に注意を向けると、脳は約10 Hzの点滅に最も強く同調します。手話を調べることで、エントレインメントにとって重要なのは使う感覚なのか、それとも受け取る情報の種類なのかを問うことができます」とブルックシャーは述べる。

人が言語の聴覚的なリズムに同調するのと同じように視覚的なリズムにも同調するかを調べるため、研究者らはアメリカ手話に堪能な手話話者に、手話で語られる物語の映像を見せ、視聴中の脳活動を測定した。

脳波計(EEG)の測定値を得た研究者らには、手話の視覚的なリズムを測る方法が必要だった。

音声のリズムを測る方法は十分に確立されている一方、手話の時間的構造を測る自動的かつ客観的な方法に相当するものはなかった。そこで研究者らは、その方法を開発した。

「興味深い発見」

研究者らは「瞬間的視覚変化」と呼ぶ新たな指標を開発した。これは、手話の各時点における変化の度合いを要約するものだ。参加者が見た実験映像を新たなアルゴリズムにかけ、フレーム間の視覚的変化の山と谷を特定した。最も大きなピークは、大きく素早い動きと関連していた。

映像内で時間とともに生じる視覚的変化の大きさを示すこのロードマップに、ブルックシャーは参加者のEEGを重ね合わせた。そして、人々が通常の視覚周波数である約10 Hzにエントレインするのか、それとも手話のサインや句の低い周波数である約2 Hzにエントレインするのかを調べた。

参加者の脳波は、視覚が同調しやすい高い周波数ではなく、手話に特有の周波数に同調した。

「科学者たちはエントレインメントがどれほど適応的、あるいは柔軟なのかを何年も理論化してきましたが、それが聴覚処理に特有なのか、より汎用的なものなのかは確かではありませんでした。そのため、これは興味深い発見です」とブルックシャーは述べる。「この研究は、人間にはどの感覚でも知覚的なリズムを追い、時間的な予測を行う能力があることを示唆しています。」

より広い観点では、神経科学者は人間の脳がどのように言語を生み出し、知覚するのかを理解しようとしており、エントレインメントは重要なメカニズムとして注目されている。

情報のピークに対する感度を高める汎用的な戦略として神経エントレインメントを明らかにしたこの研究は、人間の言語と知覚への理解を深めるうえで大きく前進するものだ。

「この論文で特に興味深いのは、手話話者と非手話話者がアメリカ手話の刺激をどのように処理するかを比較している点です」と、心理学部の教授で、言語とジェスチャーを研究するスーザン・ゴールディン=メドウは述べる。

「初期の視覚領域では両グループに同程度のエントレインメントが見られましたが、前頭領域では違いがありました。この発見を足掛かりに、視覚信号の物理的特性に結び付いた神経エントレインメントの側面と、言語知識があって初めて現れる側面を特定できるでしょう」と彼女は述べる。

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。