音は視覚障害者が環境を「見る」のをどう助けうるか

音は視覚障害者が環境を「見る」のをどう助けうるか
このページは、生成AIにより自動翻訳されています。

混雑した台所は、五感すべてが高度な警戒状態にある場所です。脳は、油がジュージューと音を立てる音、スパイスの香り、皿に盛りつけられた料理の視覚的な美しさ、そして一口食べたときの感触と味を同時に処理しています。これらの信号は互いに独立しているように見えるかもしれませんが、実際には脳の感覚ニューロンのネットワーク内で相互に作用し、統合されています。

Caltechの研究者らは現在、「クロスモーダル・マッピング」と呼ばれる生得的な神経結合が、集中的な注意や数百時間に及ぶ訓練を必要とせずに、支援機器が視覚障害者の周囲環境を把握するために利用できることを発見しました。感覚代行装置と呼ばれるこうした支援機器に対するこの新たな多感覚的視点は、以前は注意を多く要した作業をはるかに容易にし、晴眼者の視覚に似た新たな感覚機能を全盲者が獲得することを可能にしうるものです。本研究は、10月22日号の学術誌「 Scientific Reports」に掲載された論文で報告されています。

「多くの神経科学の教科書は、多感覚的相互作用にほんの数ページしか割いていない」と 下条信輔(実験心理学のGertrude Baltimore教授、本研究の主任研究者)は述べています。「しかし、私たちの日常生活の99パーセントは、多感覚処理(マルチモーダル処理とも呼ばれる)に依存しているのです。」例として、非常に親しい相手と電話で話していて、相手が泣いている場合、単に声を聞くだけでなく、涙を流す顔を思い浮かべるだろう、と彼は言います。「これは、感覚の因果関係が一方向ではないことの一例です。視覚が音に影響を与えることもあれば、音が視覚に影響を与えることもあるのです。」

下条とポスドク研究員のNoelle Stilesは、これらのクロスモーダル・マッピングを利用して、環境に関する情報を符号化した聴覚信号で視覚野を刺激してきました。彼らは、クロスモーダル・マッピングは遍在しており、誰もがすでにそれを持っていると説明しています。マッピングには、高い音程を空間内の高い位置と直感的に対応させることや、雑音のある音を明るい光と対応させることが含まれます。これらのマッピングと同様に、多感覚処理が感覚代行装置をより自動的なものにする鍵となるかもしれません。

研究者らは、画像を音に変換する「vOICe装置」と呼ばれる感覚代行装置を用いて、晴眼者と視覚障害者の双方を対象に試験を実施しました。

vOICe装置は、暗色の眼鏡に取り付けられたカメラに接続された小型コンピュータで構成されており、人間の目が見るものを「見る」ことを可能にします。コンピュータのアルゴリズムは、カメラ画像を左から右へ走査し、画素の各列について、画素の垂直方向の位置と明るさに応じた周波数と音量を持つ音を生成します。列の上部に明るい画素が多いと大きく高周波の音に変換され、一方、下部に暗い画素が多いと、より静かで低い音程の音になります。このカメラを眼鏡に装着した視覚障害者は、環境の特徴と異なる音を関連付けることができます。

試験では、事前の訓練や指示を受けていない晴眼者に画像と音を照合するよう求め、一方、視覚障害者の被験者には、テクスチャに触れてそれを音と照合するよう求めました。触覚テクスチャは、地形図のように視覚的なテクスチャ(パターン)と関連付けることができます。すなわち、画像の明るい領域はページに対して触覚的な高さが高く、暗い領域はより平坦になります。両グループとも、関連する音からテクスチャや画像を識別する直感的な能力を示しました。驚くべきことに、訓練を受けていない(「ナイーブ」とも呼ばれる)グループの成績は、有意に偶然水準を上回っており、訓練を受けたグループとほとんど違いがありませんでした。

試験で直感的に識別されたテクスチャは、vOICeの符号化アルゴリズムにすでに含まれているクロスモーダル・マッピングを利用したものでした。「vOICeの聴覚から視覚への変換でクロスモーダル・マッピングを逆にすると、ナイーブ群の成績は有意に低下しました。これは、マッピングが音の直感的な解釈にとって重要であることを示しています」とStilesは説明します。

「この装置を使って明暗のパターンであるテクスチャを見ることで、テクスチャと音の間の「直感的な」神経結合が示され、ある程度の既存のクロスモダリティが存在することが示唆されました」と下条は述べています。クロスモダリティの一般的な例の一つは共感覚と呼ばれる状態で、一つの感覚の活性化が、特定の音を聞くと特定の色が見えるなど、意図しない別の感覚体験につながります。「私たちは現在、誰もが持っている既存のクロスモーダルな結びつきを、指示や訓練なしに感覚代行を直感的なものにするために利用できることを発見しました。」

研究者らは、脳のさまざまな感覚領域がこれらの多様な信号を処理する際に何をしているのかはまだ正確には分かっていませんが、おおよその見当はついています。「聴覚領域は音を聞くと活性化し、視覚領域も同様に活性化します。私たちは、視覚領域が音の空間的な特性や要素を処理すると考えています。脳の視覚部分は、画像を処理する際に物体を空間的な位置にマッピングし、パズルのピースのように組み合わせます」とStilesは言います。脳内でクロスモーダル処理がどのように起こるかをさらに知るため、研究グループは現在、機能的磁気共鳴画像法(fMRI)のデータを用いて、クロスモーダルな神経ネットワークを分析しています。

これらの既存の神経結合は、視覚障害者が自らの視覚を補う機器を使えるようにするための訓練にとって、重要な出発点を提供します。晴眼者は目を開けるだけでよく、脳は画像や情報を自動的に処理して、環境との円滑な相互作用を可能にします。現在、視覚障害者向けの機器は、それほど自動的でも直感的でもなく、一般に環境に関する情報を解釈するために使用者の完全な集中と注意を必要とします。下条研究室による、多感覚処理とクロスモーダル・マッピングの役割に関する新たな発見は、この課題に取り組み始めるものです。

実用面での意義にとどまらず、下条は、本研究が重要な哲学的問いを投げかけていると述べています。それは「見るとは何か」という問いです。

「非常に明白な問いのように思えますが、複雑になるのです」と下条は言います。「目を開けることが見ることでしょうか?いいえ、網膜(目の中にある光に反応する組織の層)が損傷していれば、目を開けるだけでは不十分だからです。視覚野が活性化されることでしょうか?しかし、私たちの研究では、視覚野が音によって活性化されうることが示されており、実は見るために目が必要なわけではないことを示唆しています。非常に奥深いことです。私たちは、他の感覚を通じて視覚障害者に視覚体験を与えようとしているのです。」

本研究の論文タイトルは、 「Auditory Sensory Substitution Is Intuitive and Automatic with Texture Stimuli」 です。本研究は、全米科学財団、Della Martin Fund for Discoveries in Mental Illness、日本科学技術振興機構(JST)のCore Research for Evolutional Science and Technology(CREST)の助成を受けています。

本記事は Caltechとの協力により公開されたものです。掲載は世界経済フォーラムによる見解の支持を意味するものではありません。

アジェンダの最新情報を追うには、 週刊ニュースレターにご登録ください。

著者:Lori Dajoseは Caltech のライターです。

画像:白い杖を持って歩く視覚障害のある少年。REUTERS/Marko Djurica。

共有:

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。