エンジニアでMicrosoftのテクニカル・フェローでもあるAlex Kipmanが開発したHoloLensは、手術中の新しいツールとして使用されています。
HoloLensは手のジェスチャーと音声コマンドで操作し、外科医がこれまで利用できた以上に多くの情報を呼び出せるようにします。
また、トレーニングに使用したり、手術室にいなくても複数の外科医同士の共同作業を可能にしたりすることもできます。
12月中旬のある日、整形外科医のBruno Gobbato博士はブラジルのジャラグア・ド・スル市の手術室に入り、HoloLens 2の複合現実ヘッドセットを装着して手術の準備をしました。
遠隔から参加したのは、パリから接続した外科医のThomas Gregory教授と、ニュージャージー州を拠点とするJohn Erickson博士です。Gobbato氏の患者は鎖骨骨折が適切に治癒しておらず、Gobbato氏は骨の位置を整え、肩関節鏡検査を行う必要がありました。この検査では、小型カメラを関節内に挿入し、男性の肩の痛みの原因を特定しようとします。
GregoryとErickson両氏は、次のアプリを介してGobbato氏のヘッドセットに接続されました：Microsoft Dynamics 365 Remote Assistアプリを通じて、Gobbato氏の視界を各自のコンピュータ画面で共有しました。Microsoft Teamsを使用しました。両氏は患者と、Gobbato氏がCTスキャンから生成したホログラム画像を確認することができました。一方の画像は患者の損傷した鎖骨を示し、もう一方は健康な鎖骨を再現したものでした。三大陸にいる三人の外科医は、手術へのアプローチ方法を話し合い、各ステップについて協議し、それぞれの方法を共有しました。
「彼らは私の手術を助けてくれるパートナーでした」とGobbato氏は言います。「フランスの視点、アメリカの視点、そしてラテンアメリカの視点がありました。手術室の中に世界の4分の1がいたのです。」
この手術は、HoloLens 2が外科医にどのような利点をもたらし、世界中の医師同士の協力を可能にするかを示すプロジェクトの一環でした。このプロジェクトはGregory氏が構想したもので、同氏は2017年に最初のオリジナルHoloLensを使用した手術を実施しています。このイニシアチブには、5大陸13カ国の整形外科医が参加しました。
11月から1月の間に、12名の医師がHoloLensを使用して手術を行いました。内容は、アラブ首長国連邦での膝の手術から南アフリカでの肩関節置換術まで多岐にわたります。残りの医師はGregory氏とともに、交代で立ち会って観察し、助言を行いました。本プロジェクトは本日、複合現実技術と医療への影響に焦点を当てた一連の円卓会議やインタビューをもって締めくくられます。
Gregory氏にとって、このプロジェクトは同氏が「外科医のためのスマートフォン」と捉えるものの利点を伝える機会でした。同氏は、多くの人が日常業務で情報を素早く得るためにスマートフォンを頼りにしていると指摘しますが、外科医は無菌の手術室ではスマートフォンやコンピュータを使用できません。外科医は通常、手術を事前に計画し、手術が始まると患者のデータやその他のリソースにほとんどアクセスできません。
2016年に最初のHoloLensが発表された際、Gregory氏はそれが情報伝達やコミュニケーションのためのツールとして外科医に役立つ可能性をすぐに見いだしました。キーボードやマウスに触れる代わりに、手のジェスチャーや音声コマンドで情報を呼び出せるようになったのです。
「私が長年探し求めていたものでした」と、パリのアヴィセンヌ病院で整形外科・外傷外科部長を務め、ソルボンヌ・パリ・ノール大学の整形外科学教授でもあるGregory氏は語ります。
「手術中に、必要なときに必要な情報を得るために、HoloLensをコンピュータやスマートフォンのように使えることに気づきました。それにより、外科医はより迅速で効率的になり、パフォーマンスを向上させることができます。」
Gobbato氏は自ら「テクノロジー好き」「ギーク」と称する人物で、発売後まもなくHoloLensを手に入れたいという思いから、飛行機で8時間かけてマイアミへ行き、一台購入しました。同氏はここ数年、より複雑な手術でこの機器を使用しています。
「複合現実は今後、手術室で数多くの用途に使われるようになると、本当に考えています」とGobbato氏は言います。「今後数年でこれを使って何ができるようになるのか、とても楽しみです。」
HoloLensは、手のジェスチャーと音声コマンドで操作し、外科医がX線やその他のスキャンから作成された患者の解剖学的構造の立体ホログラム画像を確認できるようにします。外科医はこれらの仮想画像を動かして、さまざまな角度から見ることができます。また、手術中に患者のデータにアクセスしたり、問題解決の助けとなる動画や文書を呼び出したり、他の専門医に助言を求めたりするためにもHoloLensを使用できます。
ルイジアナ州ラファイエットの整形外科医であるJohn Sledge博士は、HoloLensプロジェクトの一環として行われた手術の一つ、10時間に及ぶ脊椎固定術を執刀しました。Gregory氏と、英国およびUAEからの二名の外科医が見守る中、Sledge博士は患者の腰部のX線画像とスキャン画像を表示し、取り除く必要のある金属器具の位置を特定し、そこにアクセスするために器具をどのように最適に配置するかを判断しました。また、事故直後に撮影された画像も読み込み、他の外科医に術前の経緯を説明できるようにしました。
HoloLensがなければ、Sledge博士は患者のスキャンから得られる数枚の画像をコンピュータ画面上で見るしかなかっただろうと言います。
「私が利用できるデータセットは非常に限られています」と同博士は言います。「HoloLensがあれば、必要な画像を呼び出し、必要に応じて拡大できます。必要な画像は、必要なサイズと鮮明さで、文字通りすぐ目の前にすべて揃っています。」
Sledge博士は、HoloLensは手術計画やトレーニングにも役立つと言います。例えば肩の手術を計画する場合、患者の肩のホログラム表現を作成し、インプラントをどこに配置すべきか、あるいは骨の再建が必要かどうかを判断できます。
骨の3Dレプリカを印刷して、その上で手術の練習を一度だけ行うのではなく、Sledge博士はホログラム上で必要な回数だけアプローチを試すことができると言います。トレーニングでは、あらゆる外科手術の3次元インタラクティブモデルを生成したり、ホログラム上で骨折や予期せぬ出血などの模擬合併症を作り出し、研修医に解決させたりすることもできます。
「医学、特に外科は今でも徒弟制度です。執刀を許されるまでに、100回は人が手術するのを見ることになります」とSledge博士は言います。「しかし今では、研修医はHoloLens上で、稀な合併症とその解決策を含む100件の手術を経験できます。最悪のシナリオを想定したトレーニングも可能です。HoloLensを使えば問題を発生させ、研修医はそれを解決しなければなりません。」
「外科研修を標準化し、世界中のすべての卒業生が、自分の専門分野のHoloLensライブラリにあるすべての症例を見て、その解決方法を学べるようにできます」と同博士は言います。「他人が問題を解決するのを見ることと、自分で解決しなければならないことの間には、大きな違いがあります。」
整形外科医のStefan Greiner博士は、親しい友人であるGregory氏のプロジェクトに参加する前、HoloLensを一度も使用したことがありませんでした。Greiner博士は当初、この機器を希少なケースでは役立つかもしれない「もう一つのガジェット」と見て懐疑的でした。
しかし、使い方を学ぶにつれて、Greiner博士はより多くの可能性を見いだすようになりました。同博士は、関節鏡手術中に、通常はスコープの映像が映し出される画面を行き来して見る必要をなくすため、この機器で画像を表示することを構想しています。
「手術中に別の場所を見る必要がなくなるため、手術の精度と安全性が向上すると考えています」とGreiner博士は語ります。同博士はドイツで最大級のスポーツ医療施設の一つである、レーゲンスブルクのSporthopaedicumで肩と肘の部門を率いています。
同博士によると、この機器は、ホログラムやアニメーションを通じて手術内容を説明することで、患者の手術準備にも役立てられる可能性があります。
「小さな写真を見るだけよりも、ホログラムが動いている様子を見られるほうがはるかに分かりやすいです」と同博士は言います。「どのような手術を受けるのかを患者が理解するために、非常に役立つでしょう。」
Ashish Babhulkar博士も、Gregory氏のプロジェクトに参加する前はHoloLensを使用したことがありませんでした。インドのプネにあるDeenanath Mangeshkar Hospital & Research Centerで肩およびスポーツ外傷部門の責任者を務めるBabhulkar博士は、Gregory氏と英国の整形外科医と共同で、肩関節のボールとソケットの位置を逆にする逆肩関節置換術を2件執刀しました。
2名の医師の助言を受け、Babhulkar博士はフィットを完璧にするため、患者に挿入する前にソケットインプラントのホログラム画像を患者の上に重ね合わせました。同博士の視界には、各ステップの3D動画を含む手術マニュアルも表示されており、外科医たちはそれを参照して、Gregory氏が肩の手術に使用した器具を確認しました。
Babhulkar博士はこの手術にマニュアルは必要なかったものの、HoloLensがトレーニングツールとして非常に有用であることを実感しました。
「明日ケニアで、誰かがHoloLensを手に入れて、この手術を始めたいと思ったとします。その人はこの手術を学ぶためにインドへ来る必要はありません」とBabhulkar博士は言います。「彼にミスをさせることなく手順を案内し、自信を育むことができます。遠隔地の一部では、治療の在り方が変わるでしょう。」
同博士によると、この経験から、今後HoloLensは医療において重要なツールになると確信したとのことです。
「この機器は非常に強力なので、開発が進むにつれて、毎年革新を重ね、新しい用途を追加していくでしょう」と同博士は言います。「願わくは、最終的にすべての症例で使用できるようになることを期待しています。」
HoloLensとその前身であるモーションセンシング機器のKinectシリーズは、Microsoftのテクニカル・フェローであるAlex Kipmanによって開発されました。同氏は、物理世界とデジタル世界を意味のある立体的な方法で融合させる機器の必要性を見いだした先見的なエンジニアです。
Kipman氏は、人間とその環境を理解し、デジタル世界を、コンピュータ画面やスマートフォンといった平面的なガラスの長方形の世界から、現実世界と相互作用したり、現実世界をシミュレートしたりできるホログラムの世界へと変革できる機器の開発を目指しました。
最初のHoloLensは2016年に発売され、続いてHoloLens 2が2019年11月に発売されました。この機器には、使用されている空間と、ユーザーが注目している対象を把握できる、高度な環境マッピングハードウェアと視線追跡カメラが搭載されています。Microsoft Dynamics 365 Remote Assistアプリケーションは、HoloLensがTeamsに接続し、ユーザーが世界中の人々と共同作業できるように設計されました。
10年前には、外科医が手術でホログラム画像を使用したり、複合現実技術が医療分野で何を可能にするかを想像したりすることは難しかったかもしれません。現在、HoloLens 2は医療分野で幅広く活用されており、医学生向けの仮想回診から、COVID-19患者の治療まで、また、HoloPatientと呼ばれる、医師のトレーニングや治療の標準化を目的とした様々な病状のシミュレーションに使用されるものまであります。
Microsoftのヨーロッパ、中東、アフリカ地域でヘルスケアおよびライフサイエンス部門のマネージング・ディレクター兼地域責任者を務めるElena Bonfiglioli氏によると、手術におけるHoloLensの利用は新しい試みであり、Gregory氏らの先駆的な医師たちによって推進されています。
「これらのリーダーたちは、長い間伝統的な方法で行われてきた手術を再考しています」と同氏は言います。「変化を想像し、実現する能力こそが、これらの臨床医を非常に革新的なものにしています。HoloLensを手術に活用することは、まさに始まったばかりですが、道筋は示されており、変革を担う人々もいます。」
Bonfiglioli氏によると、HoloLensの強みは、信頼できるデジタル環境の中で、現実世界に物体やデータを重ね合わせ、自然な学習方法を可能にする能力にあります。
「医療の未来はホログラフィック・コンピューティングによって力を与えられます。なぜなら、ホログラフィック・コンピューティングは視覚という新たな次元をもたらすからです」と同氏は言います。「私たちは長い間、協働という次元を持ってきました。人工知能を活用したデータという次元もあります。しかし、人間にとって非常に特徴的なもの、つまり視覚の強化というものはありませんでした。だからこそ、これほど強力なのです。それ自体が変革の担い手となる技術であり、未来を見通せる人々に力を与えるものです。」
Gregory氏の部門では、1年以上前からすべての手術にHoloLens 2を使用しており、この機器は同氏の日常業務の一部となっています。若手の同僚は、手術中に問題に直面すると、HoloLensを通じて同氏に助言を求めてきます。Gregory氏は、手術中に別の専門医の意見を求めることもあれば、看護師に連絡して次の患者を呼んでもらうこともあります。
2020年1月、Microsoftは、Gregory氏らとのパートナーシップのもと、手術における人工知能に特化した研究・教育センターであるInstitut Moveoを立ち上げました。ソルボンヌ・パリ・ノール大学内にあるこのセンターには、コンピュータ科学者、数学者、外科医が集まり、手術でのHoloLensの活用に関するトレーニングを提供しています。
今後の計画には、手術からHoloLensのデータを収集し、それを用いて手術手順を改善するアルゴリズムを開発することが含まれます。さらに、目の動きに基づいて、外科医が困難に直面している時点を特定することも検討されています。
Gregory氏は、HoloLensを、低侵襲手術の一部の種類で使用される、約200万ドルかかることもある手術用ロボットよりもはるかに低コストな機器と捉えており、手術の実践における人工知能を、世界中の小規模な医療施設でさえも利用可能にできると考えています。
「HoloLensによって、世界中のすべての手術室におけるこのデジタル革命を民主化するためのツールを手に入れました」と同氏は言います。「その影響は計り知れません。将来、外科医はHoloLensなしでは手術を行えなくなると考えています。」
