視覚障害者の読書を支援

視覚障害者の読書を支援
このページは、生成AIにより自動翻訳されています。

MITメディアラボの研究者たちは、内蔵カメラを備えた指装着型デバイスの試作機を開発しました。このデバイスは、書かれた文字を音声に変換し、視覚障害のあるユーザーに届けます。触覚または音声によるフィードバックで、ユーザーの指を文字列に沿って導き、システムは対応する音声をリアルタイムで生成します。

「聞こえる音と指先の位置を、しっかり連動させることがどうしても必要です」と、MITメディア芸術・科学大学院生のロイ・シルクロットは言います。メディアラボの博士研究員ヨヘン・フーバーとともに、このデバイスを説明する新論文の筆頭著者です。「視覚障害のあるユーザーにとって、これは翻訳です。指が『見ている』ものを音声に変換するものです。このつながりを保つには、速く、リアルタイムのフィードバックがどうしても必要です。それが途切れると、錯覚も崩れてしまいます。」

フーバーは4月、Association for Computing Machinery(計算機協会)のComputer-Human Interface(コンピュータと人間のインターフェース)会議で論文を発表する予定です。シルクロットとフーバーの共著者は、MITメディア芸術・科学分野のアレクサンダー・W・ドレイフース教授パティ・メイズ、シンガポール工科設計大学で工学製品開発の助教を務めるスランガ・ナナヤッカラ(メイズの研究室で博士研究員を務めた後、客員教授となった)、そしてシンガポールの南洋理工大学のメン・イー・ウォンです。

この論文では、視覚障害のあるボランティアを対象に実施したユーザビリティ調査の結果も報告しています。研究者たちはデバイスの複数の改良型を試験しました。そのうちの一つには、指の上側と下側にそれぞれ一つずつ、計二つの触覚モーターが搭載されていました。モーターの振動によって、被験者が追跡する指を上げるべきか下げるべきかを示しました。

モーターを使わない別の型では、代わりに音声フィードバックを用いました。ユーザーの指が文字列から外れ始めると、音量が大きくなる音楽音です。研究者たちは、モーターと音楽音を併用した場合も試験しました。しかし、どの種類のフィードバックが最も役立つかについて、被験者の意見は一致しませんでした。そのため、現在進行中の研究では、より小型で軽量なセンサーを実現できる音声フィードバックに重点を置いています。

要点

このシステムのリアルタイム性能の鍵は、シルクロットと同僚たちが開発した、カメラの映像を処理するアルゴリズムです。ユーザーが新しい行の先頭に指を置くたびに、アルゴリズムは文字のベースラインについて多数の推定を行います。多くの文字列にはベースラインより下に伸びる文字が含まれ、指の向きが傾いているとシステムが近接する行を取り違えることもあるため、推定値にはばらつきが生じます。しかし、その大半は一つのまとまりに集まる傾向があり、アルゴリズムは最も密度の高いまとまりの中央値を選びます。

さらにこの値によって、ユーザーの指が右へ動く間に新たな映像フレームごとにシステムが行う推定の範囲が絞られ、アルゴリズムの計算負荷が軽減されます。

テキストのベースラインを推定すると、アルゴリズムはカメラの前を通過する個々の単語も追跡します。単語がカメラの視野の中央付近に来たと認識すると(歪みを抑えられるため)、その単語だけを画像から切り出します。ベースラインの推定によって、カメラの極端な角度が引き起こす歪みを補正し、単語の向きを整えることもできます。その後、文字を認識するオープンソースソフトウェアに単語を渡し、認識された単語を合成音声に変換します。

新論文で報告された研究では、アルゴリズムは指装着型デバイスに接続したノートパソコン上で実行されました。一方、現在進行中の研究では、コンピューターサイエンス・工学の修士課程学生マーセル・ポランコと、MIT学部生研究機会プログラムを通じてこのプロジェクトに参加するコンピューターサイエンス専攻の学部生マイケル・チャンが、システムの携帯性を高めるため、Android携帯電話で動作するソフトウェア版を開発しています。

研究者たちはまた、このデバイスには当初考えていた以上に幅広い用途がある可能性にも気づきました。「研究を始めてから、読書に助けが必要な人なら誰でも、この技術の恩恵を受けられることが本当に明らかになりました」とシルクロットは言います。「組織から多くのメールや問い合わせが届きましたし、たとえばディスレクシアの子どもを持つ親からも届きました。」

「目の動きの代わりに指を使うのはよい考えです。指は目と同じように、意図に沿ってx方向にもy方向にも素早く動かせ、物事をすばやく走査できるからです」と、カーネギーメロン大学ロボティクス研究所とピッツバーグ大学生体工学部を兼任する医師兼エンジニアのジョージ・ステッテンは言います。彼は、視覚障害のあるユーザーに遠くの物体に関する情報を伝える 指装着型デバイス を開発しています。「彼らの研究にはとても感銘を受けています。」

この記事は、 MIT Newsとの共同により公開されています。この記事の公開は、世界経済フォーラムが見解を支持することを意味するものではありません。

アジェンダの最新情報を受け取るには、 週刊ニュースレターにご登録ください。

著者:ラリー・ハーデスティはMIT Newsの寄稿者です。

画像:MITメディアラボの研究者たちは、内蔵カメラを備え、視覚障害者向けにテキストを音声に変換できる指装着型デバイスを開発しました。MIT News。

シェア:

ライセンスと再掲載について
世界経済フォーラムの寄稿文は、クリエイティブ・コモンズ表示-非営利-改変禁止 4.0 国際ライセンスおよび同フォーラムの利用規約に従い、再掲載が可能です。