手話は習得が容易ではなく、教えることはさらに困難です。手話では、手の動きだけでなく、口の形（口話）、表情、姿勢も用いて意味を伝えます。この複雑さのため、専門的な指導プログラムは今もなお稀で、多くの場合、高額です。しかし、人工知能（AI）の少しの助けがあれば、こうした状況もまもなく変わるかもしれません。
私の同僚と私は、ソフトウェアの開発に取り組んでいます。このソフトウェアは、手話を自動的かつ直感的に独学できるようにするためのものです。現在、このツールは、スイス・ドイツ語手話における学習者の手話の実施方法を分析し、手の形、動き、位置、タイミングをどのように改善すればよいかについて詳細なフィードバックを提供できます。しかし私たちの目標は、このツールの背後にあるAIを活用して、世界各地のさまざまな手話を教えられるソフトウェアを開発し、文の文法や、手以外のコミュニケーション要素など、言語のより複雑な特徴も考慮できるようにすることです。
AIはこれまで、手話の認識、翻訳、通訳に使われてきました。しかし私たちは、人が行う手話を実際に評価しようとする試みは、これが初めてだと考えています。さらに重要なのは、AI技術を活用して、利用者が何を間違えたかについてフィードバックを提供したいという点です。
手話の練習と評価は、読み書きができないため困難です。そこで私たちは、コンピューターゲームを開発しました。手話の練習では、ゲームがその手話の動作を示す動画を表示するか、それを説明する最も近い音声の単語を提示する（またはその両方を行う）仕組みです。その後、ビデオカメラを使って利用者が手話を真似た動作を記録し、どうすればより上手にできるかを伝えます。ゲーム形式にすることで、人々が最高得点を目指して競い合い、その過程で手話の技術が向上することがわかりました。
手話の実施評価のすべての段階で人工知能が活用されています。まず、畳み込みニューラルネットワーク（CNN）が動画から、上半身の姿勢に関する情報を抽出します。CNNは、人間の脳の視覚皮質が行う処理をおおまかに模した一種のAIです。骨格の姿勢情報と元の動画は、その後、手の形の分析器に送られ、そこで別のCNNが動画を解析し、動画の各時点における手の形の情報を抽出します。
骨格情報と手の形の情報は、次に手の動きの分析器に送られます。この分析器は、隠れマルコフモデル（HMM）と呼ばれる手法を用いています。この種のAIにより、骨格と手の形の情報を時間の経過とともにモデル化できます。その後、観測された内容を、その手話の完璧な型を表す基準モデルと比較し、その一致度を示すスコアを算出します。
手の形の分析器と手の動きの分析器の両方の結果は、採点されたうえで、フィードバックとして利用者に提示されます。そのため、AIのすべての処理は使いやすいインターフェースの裏側に隠され、利用者は学習に集中できます。自動的で個別化されたフィードバックにより、学習者が手話習得の過程により積極的に取り組むようになることを期待しています。
AIを教室に取り入れる
現時点では、このソフトウェアはスイス・ドイツ語手話にのみ対応しています。しかし私たちの研究によると、他の言語に対応させるためにシステムの「アーキテクチャ」を変更する必要はないと考えられます。必要なのは、各言語の学習用データとして、より多くの動画記録を用意することだけです。
私たちが探究したい研究分野の一つは、AIがすでに持っている知識を、新しい言語の学習にどう活用できるかということです。また、手話を使う際の表情などの、他のコミュニケーション要素をどのように加えられるかについても検討したいと考えています。表情。
現時点では、このソフトウェアは教室のような単純な環境で最も良く機能します。しかし、評価する動画の背景の変化により多く対応できるよう開発できれば、専門家の助けを借りずに、どこにいても言語を学べる人気のアプリの多くのようになる可能性があります。このような技術が開発されれば、まもなく、手話の習得を、音声言語の習得と同じくらい誰にとっても身近なものにすることが可能になるでしょう。
