X線視覚はこれまでSF的な空想にすぎないと思われてきたが、この10年間、MITのDina Katabi教授いるチームは、コンピュータサイエンス・人工知能研究所（CSAIL）において、壁越しに見る技術へと着実に私たちを近づけてきた。
同チームの最新プロジェクト「RF-Pose」では、人工知能（AI）を用いて無線機器に、壁の向こう側からでも人の姿勢や動きを感知させている。
研究者らは、ニューラルネットワークを用いて人の身体に反射する電波信号を解析し、人が歩く、止まる、座る、手足を動かすといった動作に合わせて、動く棒人間をリアルタイムで生成できる。
チームによると、RF-Poseはパーキンソン病、多発性硬化症（MS）、筋ジストロフィーなどの疾患の監視に活用できる可能性があり、疾患の進行をより深く理解し、医師が投薬量を適切に調整することを可能にするという。また、高齢者がより自立した生活を送る助けとなるほか、転倒、けが、活動パターンの変化を監視することで安全性を高めることもできるとしている。チームは現在、医師と協力して、医療分野におけるRF-Poseの応用可能性を検討している。
チームが収集したデータはすべて被験者の同意を得たものであり、利用者のプライバシーを保護するため匿名化および暗号化されている。実社会での今後の応用に向けて、チームは「同意メカニズム」の導入を計画している。これは、機器を設置する人が、環境の監視を開始させるための特定の一連の動作を行うよう促される仕組みである。
「患者の歩行速度や、自力で基本的な動作を行う能力を監視することで、医療従事者は、これまで得られなかった患者の生活の様子を知ることができます。これは幅広い疾患において有意義なものになり得ます」とKatabi氏は述べている。同氏は今回のプロジェクトに関する新たな論文の共同執筆者でもある。「私たちの手法の大きな利点は、患者がセンサーを身につけたり、機器の充電を忘れないようにしたりする必要がないことです。」
医療以外にも、チームは、RF-Poseを、プレイヤーが家の中を動き回る新しいタイプのビデオゲームや、生存者の捜索を支援する救助活動にも活用できるとしている。
Katabi氏は、博士課程学生で筆頭著者のMingmin Zhao、MIT教授のAntonio Torralba、ポスドク研究員のMohammad Abu Alsheikh、大学院生のTianhong Li、および博士課程学生のYonglong TianおよびHang Zhaoとともに、この新たな論文を執筆した。同論文は今月後半に、米国ユタ州ソルトレークシティで開催されるコンピューターービジョンとパターン認識に関する国際会議（CVPR）で発表される予定である。
研究者らが取り組む必要があった課題の一つは、ほとんどのニューラルネットワークが人間の手によってラベル付けされたデータを用いて学習するという点である。例えば猫を識別するよう学習させたニューラルネットワークでは、人が大量の画像データセットを確認し、それぞれを「猫」または「猫ではない」のいずれかにラベル付けする必要がある。一方、電波信号は人間が容易にラベル付けすることができない。
この課題に対処するため、研究者らは無線機器とカメラの両方を使って事例を収集した。歩く、話す、座る、ドアを開ける、エレベーターを待つといった動作を行う人々の画像を数千枚集めた。
次に、研究者らはカメラの画像から棒人間を抽出し、対応する電波信号とともにニューラルネットワークに提示した。このような事例の組み合わせにより、システムは電波信号と、映像内の人物を表す棒人間との関連性を学習できるようになった。
学習後、RF-Poseはカメラを使用せず、人の身体に反射する無線の反射波のみを用いて、人の姿勢と動きを推定できるようになった。
カメラは壁を透視できないため、ネットワークが壁の向こう側のデータで明示的に学習されたことは一度もなかった。そのため、ネットワークが壁越しの動きに対応できるよう知識を一般化できたことは、MITのチームにとって特に驚きであった。
「コンピューターービジョンシステムを教師とみなすなら、これは生徒が教師を上回る、実に見事な例です」とTorralba氏は述べている。
著者らは、動きの感知に加え、無線信号を用いて、100人の中から特定の人物を83％の確率で正確に識別できることも示した。この能力は、特定の人物の身元を知ることが役立つ可能性がある捜索救助活動において、特に有用となり得る。
本論文では、モデルは2次元の棒人間を出力するが、チームはさらに微細な動きまで反映できる3次元表現の作成にも取り組んでいる。例えば、高齢者の手が定期的に震えているかどうかを確認し、健康診断を受けることを勧められるようになる可能性がある。
「壁を透視するために、この視覚データとAIの組み合わせを活用することで、より良いシーン理解とスマートな環境を実現し、人々がより安全で生産的な生活を送るようになります」とZhao氏は述べている。
