何百万人もの人々が手話を使ってコミュニケーションをとっているが、これまでのところその複雑なジェスチャーを捉えて音声言語に翻訳するプロジェクトは限定的な成果しか上げられていない。しかし、Googleの AI 研究所によるリアルタイムの手の動き追跡における新たな進歩は、多くの人が待ち望んでいた画期的な成果となる可能性がある。
この新たな手法は、いくつかの巧妙な近道と、機械学習システムの全般的な効率の向上を活用し、スマートフォンとそのカメラだけを使って、手とすべての指の非常に正確な位置情報を、リアルタイムで生成する。
「現在の最先端のアプローチは主に推論に強力なデスクトップ環境に依存しているのに対し、我々の手法はモバイルフォン上でリアルタイムの性能を実現し、複数の手にも対応可能だ」と、Googleの研究者であるValentin BazarevskyとFan Zhangはブログ記事で述べている。「堅牢なリアルタイムの手の認識は、手がそれ自体や互いを（例：指と手のひらの重なりや手の揺れ）隠してしまい、また高コントラストのパターンを欠くことが多いため、明らかに困難なコンピュータビジョンの課題である。」
それだけでなく、手の動きは素早く、微妙であることが多い、あるいはその両方であることも多く、コンピュータがリアルタイムで捉えるのが得意なものとは必ずしも言えない。基本的に、正しく行うこと自体が非常に難しく、正しく行うことを素早く行うのはさらに難しい。SignAllが使用しているような、複数カメラと深度センサーを備えた装置であっても、すべての動きを追跡するのに苦労している。（それでも彼らは取り組みを止めていない。）
今回の研究者らの目的は、少なくとも部分的には、アルゴリズムが精査する必要のあるデータ量を削減することだった。データが少なければ、処理はより迅速になる。
まず、彼らは手全体の位置と大きさをシステムに検出させるという考えを捨てた。代わりに、システムには手のひらだけを見つけさせることにした。手のひらは、手の中で最も特徴的で形が確実なだけでなく、正方形でもあるため、システムが縦長の画像や横長の画像などを扱えるかどうかを心配する必要がなかった。
手のひらが認識されると、当然ながら指はその一端から伸びており、個別に分析することができる。別のアルゴリズムが画像を調べ、関節や指先におおよそ対応する21個の座標を割り当てる。これには、それらが推定でどのくらい離れているか（手のひらの大きさや角度などに基づいて推測することができる）も含まれる。
この指の認識部分を行うために、まず彼らは、機械学習システムが取り込んで学習できるよう、さまざまなポーズや照明条件の下にある約3万枚の手の画像に、これら21個の点を手作業で追加しなければならなかった。いつものように、人工知能は動き出すために、人間による大変な作業に依存している。
手のポーズが特定されると、そのポーズは、文字や数字の手話記号から「ピース」や「メタル」のようなものまで、多数の既知のジェスチャーと照合される。
その結果、速度と精度を兼ね備え、特別に強化されたデスクトップやクラウド（つまり、他人の強化されたデスクトップ）ではなく、通常のスマートフォン上で動作する手の追跡アルゴリズムが完成した。すべては、マルチメディア技術に詳しい人なら既に知っているかもしれないMediaPipeフレームワーク内で動作する。
うまくいけば、他の研究者がこれを引き継いで発展させ、ジェスチャーを認識するために必要とされていた手の認識を行うのに、より高性能なハードウェアを必要としていた既存のシステムを改善できるだろう。ただし、手話を真に理解するにはまだ道のりが長い。手話は両手、表情、その他の手がかりを用いて、他に類を見ない豊かなコミュニケーション手段を生み出している。
これはまだGoogleの製品には一切使用されていないため、研究者らは自らの成果を無償で公開することができた。ソースコードは、誰でも利用し発展させられるようここに公開されている。
「この手の認識機能を、より広範な研究開発コミュニティに提供することで、創造的な活用事例が生まれ、新たな用途と研究の道筋が刺激されることを期待している」と、彼らは記している。
