「テンソル・ホログラフィー」と呼ばれる新しい手法により、バーチャルリアリティ、3Dプリンティング、医用画像などに向けたリアルタイムのホログラム生成が可能になるかもしれません。
この技術は、スマートフォン上でも動作させることができます。
この技術により、市販のホログラムが現実的な手の届く範囲に近づくと予測されています。
長年の期待にもかかわらず、バーチャルリアリティ・ヘッドセットは、動画視聴の主要なデバイスとして、テレビやコンピューター画面に取って代わるには至っていません。その理由の一つは、VRによって利用者が気分が悪くなることがあるためです。VRでは、利用者が実際には焦点距離が固定された2Dディスプレイを見ているにもかかわらず、3D映像を見ているような錯覚を生み出すため、吐き気や眼精疲労が生じることがあります。より優れた3D表示の解決策は、60年前の技術をデジタル世界向けに作り直したもの、すなわちホログラムにあるかもしれません。
ホログラムは、私たちを取り巻く3Dの世界を見事に再現します。さらに、美しいものです。ホログラムは、視聴者の位置に応じて変化する視点を提供し、目が焦点深度を調整して、前景と背景に交互に焦点を合わせることを可能にします。
研究者たちは以前からコンピューターで生成するホログラムの実現を目指してきましたが、従来のプロセスでは、物理シミュレーションを処理するためにスーパーコンピューターが必要であり、時間がかかるうえ、写真のような忠実さには及ばない結果になることもありました。しかし今回、MITの研究者たちは、ほぼ瞬時にホログラムを生成する新しい方法を開発したと述べています。深層学習に基づくこの手法は非常に効率的で、まばたきする間にノートパソコン上で動作させることができるとのことです。
「従来の一般消費者向けハードウェアでは、リアルタイムの3Dホログラフィー計算は不可能だと考えられてきました」と、本研究の筆頭著者であり、MIT電気工学・コンピューターサイエンス学部（EECS）の博士課程学生であるLiang Shi氏は述べています。「市販のホログラフィック・ディスプレイが10年後には登場するといわれてきましたが、この言葉は何十年も前から繰り返されてきたものです。」
Shi氏は、研究チームが「テンソル・ホログラフィー」と呼ぶこの新しい手法が、ついにその捉えどころのない10年という目標を現実的な手の届く範囲に近づけると考えています。この進展により、ホログラフィーがVRや3Dプリンティングなどの分野へ波及する可能性もあります。
Shi氏は、本研究に取り組み、本日Natureに発表されました。研究では、指導教員であり共著者でもあるWojciech Matusik氏とともに研究を行いました。その他の共著者には、EECSおよびMITのコンピュータ科学・人工知能研究所に所属するBeichen Li氏、そして元MIT研究者であるChangil Kim氏（現在Facebook所属）およびPetr Kellnhofer氏（現在スタンフォード大学所属）が含まれます。
より優れた3Dを求めて
一般的なレンズを用いた写真は、各光波の明るさを記録します。写真は場面の色を忠実に再現できますが、最終的には平面的な画像しか得られません。
これに対し、ホログラムは各光波の明るさと位相の両方を記録します。この組み合わせにより、場面の視差や奥行きをより正確に描写することができます。そのため、モネの「睡蓮」の写真では絵画の色彩を際立たせることはできても、ホログラムであれば作品に命を吹き込み、筆致一つひとつの独特な3D質感を再現することができます。しかし、その写実性にもかかわらず、ホログラムは作成と共有が難しいものです。
ホログラムは20世紀半ばに初めて開発され、初期のホログラムは光学的に記録されていました。そこでは、レーザー光線を二つに分割し、半分を被写体の照明に、もう半分を光波の位相の参照として使う必要がありました。この参照光によって、ホログラム特有の奥行き感が生まれます。得られた画像は静止したものであったため、動きを捉えることはできませんでした。また、ハードコピーのみであったため、複製や共有が困難でした。
コンピューターで生成するホログラフィーは、光学系をシミュレーションすることで、これらの課題を回避します。しかし、その処理は計算負荷の大きな作業になりかねません。「場面内の各点は異なる深さを持つため、すべての点に同じ演算を適用することはできません」とShi氏は述べています。「そのため、複雑さが大幅に増します。」クラスター化されたスーパーコンピューターにこうした物理ベースのシミュレーションを実行させると、1枚のホログラフィック画像につき数秒から数分かかる場合があります。さらに、既存のアルゴリズムでは、写真のような精度で遮蔽をモデル化することができません。そこでShi氏のチームは、コンピューターに物理学を自ら学習させるという別のアプローチを採用しました。
研究チームは、深層学習を用いてコンピューター生成ホログラフィーを高速化し、リアルタイムでのホログラム生成を可能にしました。チームは畳み込みニューラルネットワークを設計しました。これは、学習可能なテンソルの連鎖を用いて、人間が視覚情報を処理する仕組みをおおまかに模倣する処理技術です。ニューラルネットワークの学習には通常、大規模で高品質なデータセットが必要ですが、3Dホログラム向けのそのようなデータセットは、これまで存在していませんでした。
研究チームは、独自のデータベースを構築し、4,000組のコンピューター生成画像のペアを用意しました。各ペアは、画素ごとの色と奥行きの情報を含む画像と、それに対応するホログラムを組み合わせたものです。新しいデータベースのホログラムを作成するため、研究者たちは、複雑かつ多様な形状や色を持つ場面を用い、画素の奥行きを背景から前景まで均等に分布させるとともに、遮蔽を処理するための新たな物理ベースの計算方法を採用しました。このアプローチにより、写真のように精緻な学習データが得られました。次に、アルゴリズムが作業を開始しました。
各画像ペアから学習することで、テンソルネットワークは自らの計算パラメーターを調整し、ホログラムを生成する能力を段階的に高めていきました。十分に最適化されたネットワークは、物理ベースの計算よりも桁違いに高速に動作しました。この効率の高さは、研究チーム自身も驚くものでした。
「その性能の高さには驚かされています」とMatusik氏は述べています。テンソル・ホログラフィーは、わずか数ミリ秒で、奥行き情報を含む画像からホログラムを生成することができます。奥行き情報は、一般的なコンピューター生成画像によって提供されるもので、マルチカメラ構成やLiDARセンサーから算出することも可能です（いずれも一部の新しいスマートフォンには標準搭載されています）。この進展により、リアルタイムの3Dホログラフィーへの道が開かれます。さらに、このコンパクトなテンソルネットワークに必要なメモリーは1MB未満です。「最新の携帯電話で利用可能な数十〜数百ギガバイトに比べれば、無視できるほど小さいものです」と同氏は述べています。
この研究は「中程度の計算要件のみで、真の3ホログラフィック・ディスプレイが実用的であることを示している」と、本研究には関与していないMicrosoftの主席光学アーキテクトであるJoel Kollin氏は述べています。同氏はさらに、「この論文は、従来の研究と比べて画質が著しく向上していることを示している」と付け加え、これにより「視聴者にとってのリアリティと快適さが高まる」と述べています。Kollin氏はまた、このようなホログラフィック・ディスプレイを、視聴者の眼科処方に合わせてカスタマイズできる可能性にも言及しています。「ホログラフィック・ディスプレイは、目の収差を補正することができます。これにより、焦点や乱視といった低次の収差のみを補正するコンタクトレンズや眼鏡で見るよりも鮮明な表示画像が可能になります。」
「大きな飛躍」
リアルタイムの3Dホログラフィーは、VRから3Dプリンティングに至るまで、さまざまなシステムを強化するものです。研究チームによれば、この新しいシステムは、VR視聴者をより現実感のある景観に没入させるのに役立つとともに、長時間のVR利用による眼精疲労やその他の副作用を解消できる可能性があります。この技術は、光波の位相を変調するディスプレイにも容易に導入できる可能性があります。現在、手頃な価格の一般消費者向けディスプレイのほとんどは明るさのみを変調していますが、広く普及すれば位相変調ディスプレイのコストは低下すると考えられます。
研究者によれば、3次元ホログラフィーは、ボリュメトリック3Dプリンティングの開発を促進する可能性もあるとのことです。ボリュメトリック3Dプリンティングでは3Dパターン全体を同時に投影できるため、従来の層ごとに積層する3Dプリンティングよりも高速かつ高精度になる可能性があります。その他の応用分野としては、顕微鏡観察、医療データの可視化、独特な光学特性を持つ表面の設計などが挙げられます。
「これは大きな飛躍であり、ホログラフィーに対する人々の見方を根本から変えるかもしれません」とMatusik氏は述べています。「ニューラルネットワークは、まさにこの課題のために生まれたのだと感じています。」
本研究は、一部、ソニーの支援を受けて行われました。
