人工知能（AI）は医療分野において計り知れない可能性を秘めているが、安全上のリスクがあるため、より多くの人間による監視が必要であり、AIには安全に扱えることが実証された権限のみを与えるべきである。
医療機関は、AIシステムがどのようなことを確実に実行できるのか、どのような対象者や状況において実行できるのか、そしてどのような場合に失敗する可能性があるのかを明確にすべきである。
モデル、臨床的証拠、患者集団、ワークフローは変化するため、資格認定は一度きりの作業では済まされず、AIガバナンスは継続的に適応していく必要がある。
経済のあらゆる分野が人工知能によって変革されつつあるが、今、これまで以上に、安全対策の必要性が強く注目されている。同時に、創薬などの分野におけるAIの計り知れない可能性を阻害することなく、こうした変革を進める必要性も高まっている。
医療分野には、AIを安全に導入するための先導役を務める機会と義務がある。
医療機関は現在、実務上の課題に直面している。それは、AIシステムが安全に実行できる範囲を明確にし、人間の権限をどこに配置すべきかを決定し、技術の進化に合わせてそれらの管理体制を適応させていくことである。
1. まずAIの適格性を評価することから始めます
AIシステムにどの程度の権限を与えるべきかを決定する前に、組織は特定のタスクにおいてAIシステムを信頼できる条件を理解する必要があります。医療分野では既にAIシステムが活用されています。 資格制度証拠、明確な使用範囲、監視、説明責任。AIには、その能力と動作が急速に変化する可能性のある技術に適した仕組みが必要です。
データカード、モデルカード、リスク分析などのツールは、システムがどのように形成されたか、どのように評価されたか、意図された使用状況、既知の制限と故障モード、および追加の検証が必要な場合を文書化できます。米国食品医薬品局はモデルカードを次のように定義しています。 透明性メカニズム一方、健康AI連合は、 適用モデルカード 医療のために。
資格審査では、評価対象集団、パフォーマンスが低下する状況、依拠する証拠、不完全または矛盾する情報に基づく行動、モデル、証拠、またはワークフローの変更の影響を検証する必要があります。米国の医療IT政策は既に、より高度な方向へと進んでいます。 アルゴリズムの透明性 認定医療技術分野において。
専門家は、起こりうる失敗、重大な例外、そして専門家の判断によって決定が大きく変わる可能性のあるポイントを特定する上で不可欠である。
2. システムにエラーが侵入する可能性のある箇所をマッピングする
資格認定は安全性の第一段階です。次に重要なのは、モデルが動作する意思決定プロセスを理解することです。AIを活用した医療ワークフローは、基礎データからコンテキストとエビデンス、推論、推奨、行動、そして結果へと段階的に進んでいきます。
リスクはどの段階でも発生する可能性があります。データが不完全であったり、関連する証拠が取得できなかったりする場合があります。さらに、システムが患者の状況を誤解したり、意図された状況以外でガイダンスを適用したり、証拠と矛盾する推論を生成したりする可能性もあります。
専門家は、起こりうる失敗、重大な例外、そして専門家の判断によって決定が大きく変わる可能性のあるポイントを特定する上で不可欠である。 優れた機械学習の実践 同様に、製品ライフサイクル全体にわたる学際的な専門知識と配慮を重視している。
3. 適切なリスクに適切なチェックポイントを設置する
潜在的な失敗が理解できたら、監視の度合いを調整するために、3つの側面が役立ちます。それは、エラーが発生する可能性、エラーが発生した場合の結果、そして結果として生じる行動が元に戻せるかどうかです。
リスクが低く、可逆的な事務作業は大幅な自動化を可能にするかもしれないが、曖昧な情報に基づく重大な臨床的推奨事項には、より厳格な検証が必要となる。
リスクの種類によって、必要なチェックポイントも異なる。
データチェックによって、データの完全性と品質を検証できる。
証拠の検証によって、適切な情報源が推奨事項を裏付けていることを確認できる。
不確実性チェックは、矛盾する証拠や馴染みのない状況を検出するのに役立つ。
人的チェックポイントを設けることで、重大な事案を、それらを評価するのに最適な専門家に振り分けることができる。
システムは人間の関与も評価すべきである。人間のチェックポイントを設けたからといって、AIによる意思決定が自動的に改善されるわけではない。人間とAIの推論の順序、レビュー担当者に提示される情報、レビュー担当者の専門知識、そしてインタラクションの設計など、すべてが結果に影響を与える可能性がある。
したがって、組織は、人間とAIを組み合わせたワークフローが、実際に導入される環境下で意思決定の質と安全性を向上させるかどうかを検証すべきである。
4. 人間主導のアーキテクチャを構築する
私たちは、人間が人間とAIのワークフローを主導する運用モデルのための5つの要素を提案します。
地図： 資格認定とリスク分析を通じて、潜在的な故障箇所、その影響、および設定された限界を特定する。
検出する： 不確実性、情報不足、矛盾する証拠、異常な出力、およびシステムが規定の運用条件外で動作している可能性を示す兆候を認識する。
チェック： リスクに見合った安全対策（データ検証、証拠確認、一貫性テスト、専門家によるレビューなど）を適用する。人間が関与する場合は、その相互作用が総合的な意思決定を改善するかどうかを評価する。
エスカレート： 判断が不確実なケースや重大な結果を招くケースについては、適切な専門家に、意思決定を効率的に評価するために必要な証拠、背景情報、および根拠を添えて送付する。
学ぶ： 修正、上書き、意見の相違、および下流工程の結果を記録し、それらを利用してシステムを改善し、将来のチェックポイントの配置を決定する。
5. 継続的に再認定する
AIの能力は急速に変化しています。臨床的証拠が進化し、患者集団が変化し、政策が変わり、ワークフローが再設計されるにつれて、資格認定と監督は継続的に行われる必要があります。たとえば、Nature Medicineの研究では、 繰り返し行われる局所検証 医療AIに関しては、その性能は環境や時間によって変動する可能性があるため、注意が必要です。
したがって、組織はエラーパターン、上書き、エスカレーション率、意見の相違、モデルとデータのずれ、および下流の結果を監視する必要があります。臨床医による上書きが頻繁に発生する場合は、初期評価で見落とされた制限事項が明らかになる可能性があります。
特定の種類の事案が繰り返し深刻化する場合は、追加の証拠、研修、またはワークフローの再設計が必要であることを示唆している可能性があります。その点において、実際の運用においては、システムがどの程度確実に機能するか、その限界はどこにあるか、そしてどの程度の権限を持つべきかを継続的に見直す必要があります。
医療リーダーのための3つの原則
医療分野のリーダーにとって、安全性を維持しながらAIを最大限に活用するための人間とAIの連携ワークフローを円滑に進める上で、特に重要な3つの原則が挙げられます。
委任する前に、資格を確認すること。 システムがどのような能力を発揮できるか、どのような条件下で発揮できるか、そしてその限界はどこにあるのかを明確にする。
監視体制とAIの両方を評価する。 技術的チェックポイントと人的チェックポイントを、エラーの発生確率、結果、および可逆性に合わせて設定し、それらのチェックポイントが人間とAIを組み合わせた意思決定を改善するかどうかを評価する。
継続的に資格を再確認する。 現実世界における結果、専門家の介入、モデルの変更、そして新たに発生した障害モードは、システムと安全対策の再調整方法を決定する上で重要な情報となるべきである。
医療分野は、より広範なAIガバナンスに関する議論に実践的なモデルを提供できる。その目的は、能力が理解され、リスクが予測され、重大な決定が中断可能であり、人間の専門知識が最大の価値を生み出す場所に配置されるようなシステムを構築することである。
人間が指揮を執るということは、技術を評価し、そのリスクを把握し、適切なチェックポイントを設計し、意義のある人間の権限を維持し、技術と証拠の両方が進化するにつれて継続的に学習することを意味する。
