MITの研究者らは、ユーザーが言葉にしようと意識を集中させながら、実際には声に出さない言葉を文字起こしできるコンピューターインターフェースを開発した。
このシステムは、装着型デバイスと、それに連動するコンピューターシステムで構成される。デバイス内の電極が、内言、つまり頭の中で言葉を発することによって顎や顔に生じる神経筋信号を検出する。これらの信号は、人間の目には見えない。信号は機械学習システムに送られ、特定の信号と特定の言葉との対応関係を学習する。
このデバイスには、骨伝導ヘッドホンも備わっている。顔の骨を通じて振動を内耳に伝える仕組みだ。耳の穴をふさがないため、会話を中断したり、ユーザーの聴覚体験を妨げたりすることなく、システムから情報を伝えられる。
このデバイスは、ユーザーが気づかれずに難しい計算問題を提示し、答えを受け取れる、完全なサイレントコンピューティングシステムの一部である。たとえば研究者らが行った実験では、被験者はチェスの対局で相手の指し手を無言で伝え、コンピューターが推奨する応手も同じく無言で受け取った。
「この研究の動機は、IAデバイス、つまり知能を拡張するデバイスを作ることでした」と、新システムの開発を主導したMITメディアラボの大学院生、アルナヴ・カプールは語る。「人間と機械をある意味で融合し、私たち自身の認知を内側から拡張するように感じられる、より内在的なコンピューティング・プラットフォームを作れないか。それが私たちの考えでした」
「私たちは基本的に、携帯電話やデジタルデバイスなしでは暮らせません」と、メディアアート・科学の教授でカプールの論文指導教員でもあるパティ・メイスは語る。「でも現時点では、こうしたデバイスの使用はとても注意をそらします。会話に関係することを調べたいと思ったら、携帯電話を探し、パスコードを入力し、アプリを開き、検索語を入力しなければなりません。その一連の操作で、周囲の環境や一緒にいる人々から、完全に注意を携帯電話へ移すことになります。そこで学生たちと私は長年にわたり、人々がデバイスのもたらす素晴らしい知識やサービスの恩恵を受けながら、今この瞬間にとどまれるような、新しい形状や新しい体験を模索してきました」
研究者らは、Association for Computing Machinery（ACM）のIntelligent User Interface会議で発表した論文で、このデバイスについて説明している。論文の筆頭著者はカプール、上席著者はメイスで、電気工学・コンピューターサイエンスを専攻する学部生のシュレヤス・カプールも共著者に名を連ねる。
微細な信号
内言には身体的な相関があるという考えは19世紀から存在し、1950年代には本格的に研究された。1960年代の速読運動の目標の一つは、内言、いわゆる「サブボーカライゼーション」をなくすことだった。
しかし、コンピューターインターフェースとしてのサブボーカライゼーションは、ほとんど研究されていない。研究者らはまず、顔のどの位置から最も信頼性の高い神経筋信号が得られるかを調べた。そこで同じ被験者に同じ単語の並びを4回サブボーカライズしてもらい、そのたびに顔の異なる位置に16個の電極を並べて実験を行った。
研究者らは、得られたデータを分析するコードを作成し、特定の7か所の電極位置からの信号によって、サブボーカライズされた単語を安定して識別できることを見いだした。会議論文では、装着型のサイレントスピーチ・インターフェースの試作品を報告している。電話用ヘッドセットのように首の後ろに回して装着し、触手のように湾曲した部材が口の両側や顎に沿った7か所で顔に触れる。
ただし現在の実験では、片側の顎に沿って4個の電極を使うだけでも同程度の結果が得られており、装着時に目立ちにくいデバイスにつながると期待される。
電極の位置を選定すると、研究者らは語彙をそれぞれ約20語に限定した、いくつかの計算タスクについてデータ収集を始めた。一つは算術で、ユーザーが大きな数の加算や乗算の問題をサブボーカライズする。もう一つはチェスのアプリケーションで、標準的なチェスの座標表記を使って指し手を伝える。
次に、それぞれのアプリケーションでニューラルネットワークを使い、特定の神経筋信号と特定の単語との対応関係を見つけた。研究者らが用いたニューラルネットワークは、ほとんどのニューラルネットワークと同様、単純な処理ノードを層状に配置し、それぞれのノードを上下の層にある複数のノードと接続している。データは最下層に入力され、各ノードが処理して次の層へ渡す。次の層でも同様の処理が繰り返される。最終層の出力が、分類タスクの結果となる。
研究者らのシステムの基本構成には、神経筋信号からサブボーカライズされた単語を識別するよう訓練されたニューラルネットワークが含まれる。最後の2層だけを再訓練することで、特定のユーザーに合わせて調整することもできる。
実用面
研究者らは試作の装着型インターフェースを使って使いやすさを調べる研究を行った。10人の被験者はそれぞれ約15分かけて、算術アプリケーションを自身の神経生理学的特性に合わせて調整し、その後さらに90分間、計算の実行に使用した。この研究では、システムの平均文字起こし精度は約92％だった。
ただしカプールによると、通常の使用中に収集できる学習データを増やせば、システムの性能は向上するはずだ。具体的に数値を計算したわけではないものの、デモで使っている、より十分に訓練されたシステムは、使いやすさの研究で報告された精度を上回ると見積もっている。
研究者らは現在、より複雑な会話に関する大量のデータを収集しており、さらに幅広い語彙を扱うアプリケーションの開発を目指している。「データ収集の最中ですが、結果は良好です」とカプールは語る。「いつか会話を完全に実現できると思います」
「この研究の本当の可能性を考えると、彼らは少し控えめに評価していると思います」と、ジョージア工科大学コンピューティング学部の教授、サド・スターナーは語る。「たとえば、ここアトランタのハーツフィールド空港で、駐機場にいる航空機を誘導する場面を考えてみてください。周囲はジェット機の騒音に包まれ、大きな聴覚保護具を着けています。普段なら声でのやりとりが難しい環境で、音声を使って意思疎通できたら、すばらしいと思いませんか。航空母艦の飛行甲板のような騒音の大きい場所や、発電所や印刷所のように機械が多い場所など、さまざまな状況が思い浮かびます。こうした環境では、すでに保護具を身につけていることも多いため、このシステムは特に有用でしょう。たとえば戦闘機のパイロットや消防士は、すでにマスクを着用しています」
「これが非常に役立つもう一つの場面は、特殊作戦です」とスターナーは付け加える。「騒がしいのではなく、静かな環境である場所もたくさんあります。特殊作戦に携わる人々は手の合図を使うことが多いですが、いつも見えるとは限りません。こうした人々の間で意思疎通するために、サイレントスピーチを使えたらすばらしいと思いませんか。最後に、通常どおり発声できない障害のある人々にも役立ちます。たとえばロジャー・イーバートは、がんで顎を失ったため、声を出せなくなりました。このようなサイレントスピーチを使い、合成音声で言葉を話すことはできるでしょうか」
