機械学習と人工知能は健康を大きく向上させる可能性があります。しかし、依然として人間による入力が必要であり、それが無意識のバイアスや構造的なバイアスを持ち込むことがあります。
公正さを確保し、潜在的なバイアスを軽減するため、企業はエビデンス基盤の限界、データセットやアルゴリズムの限界、そして周縁化された人々への潜在的な影響を考慮すべきです。
アルゴリズムのバイアスを抑えるため、すべての企業はあらゆる階層でデータサイエンスへの理解を深めることに投資すべきです。
機械学習と人工知能は、日常生活にますます浸透しています。こうした新興技術は、プロセスを改善し、より正確にすることができます。一方で、人間の設計者が持つ無意識のバイアスを組み込み、不平等なシステムで生成されたデータを使うことで、既存の不平等を悪化させる可能性もあります。
機械学習とは、アルゴリズムを用いてパターンを特定するため、情報をコンピューターに入力するプロセスです。 認識されたパターンはモデルと呼ばれ、情報を体系的に記述し、初期データの範囲を超えた世界について予測できるようにします。製品が人工知能である場合、コンピューターは初期モデルに基づいてタスクを実行しながら、継続的に学習できます。
たとえば、人々の購買傾向を学習することが目的なら、購入履歴のデータをコンピューターに与えることで、グループ化アルゴリズムを通じて類似した購入のパターンを特定できます。購買傾向のモデルを作成し、次に商品を検索した際に、最終的には個人に似た商品を勧められるようになります。
このように単純化して考えても、アルゴリズムのバイアスの原因が2つ浮かび上がります。元のデータとアルゴリズムであり、どちらも人間が作り出したものです。では、技術の公正さやバイアスの度合いを左右するものは何でしょうか。
医療技術におけるアルゴリズムのバイアスを抑えるための3つの考慮事項
1. エビデンス基盤の限界
技術におけるバイアスを抑える最初の段階は、自らが活動する状況を理解することです。アルゴリズムには、研究や文献から導かれた前提が含まれていることがよくあります。科学は確定的で客観的、かつバイアスがないという暗黙の前提がありますが、科学はプロセスです。確かなエビデンスの土台を築き、その基盤を構築するには、さまざまな研究者が、集団を代表する多様なグループを対象に複数の研究を行い、時間を経ても同様の結果が得られる必要があります。残念ながら、歴史的に多様性、公平性、公正さは優先されてこなかったため、限られたエビデンス基盤がすべての人に真に一般化できるとは限りません。だからこそ、前提を適用する前に、既存の文献が網羅的で、公正で、適用可能かを批判的に評価することが不可欠です。
たとえば、医薬品の臨床試験では、主に成人の白人男性が募集されてきましたが、その結果は全人口に一般化されています。こうした結果に基づくアルゴリズムは、十分に代表されていないすべてのグループを正確に反映できないことが多く、意図せずバイアスを含む技術につながるおそれがあります。
2. データセットとアルゴリズムの限界
第2段階では、1）コンピューターが学習するデータと、2）使用するアルゴリズムの限界を考慮すべきです。データサイエンティスト向けの細かな問いに見えるかもしれませんが、判断が結果に及ぼす影響は非常に大きいため、事業部門も少なくとも手法を把握し、限界を踏まえて結果を伝えられる必要があります。
たとえば、信用スコアは、経済的にリスクの高い行動や好ましくない習慣を捉えようとするモデルによって算出されます。しかし、周縁化された人々は歴史的に、債務の雪だるま式の増加を招く略奪的な金融商品を提供されてきており、その影響はデータに反映されています。このような例は数多くあり、モデルを通じてデータ内の構造的なバイアスを増幅し、ある集団を不利にする一方で別の集団を有利にし続けます。特に、広く頻繁に使われるスコアリングシステムでは、その影響が顕著です。
状況と限界を理解し、結果の解釈を慎重に行うことは重要な段階であり、事業部門と企業のリーダーが関与すべきです。
3. 周縁化されたコミュニティに対する新技術の影響
テクノロジーやアルゴリズムのバイアスによる悪影響は意図的でないかもしれません。しかし、健康格差を解消する取り組みは意図的であるべきです。そのため第3段階では、開発部門と事業部門に多様な人材を配置し、分野横断的な体制を整え、専門家やコミュニティの関係者を加えて、結果を文脈の中で捉え、起こり得る影響を批判的に考える必要があります。さらに、技術の使用開始から一定期間が経過した後、市販後の実環境でのエビデンスを評価し、結果について透明性を保ち、説明責任を果たすことも不可欠です。
たとえば、医療上の意思決定に人種を基準とするアルゴリズムがあります。理想的には、アルゴリズムによって格差が縮小するはずですが、歴史的にはそうなっていません。たとえば、腎臓のろ過率を推定し、患者に専門的な治療が必要か、移植の対象となるかを判断するモデルがあります。以前のモデルは、黒人患者のろ過率を高く予測していました（つまり、実際よりも症状が軽いように見えていました）。
残念ながら、その結果として生じた方針により、黒人の人々では病気の進行率が高まり、移植紹介が遅れることになりました。ある研究によると、モデルが使われ続けていた場合、約68,000人の黒人成人が専門医療を紹介されなかったと推定されています（人口推計はDiaoらの論文と米国コミュニティ調査のACSDT5Y2020データセットに基づいて算出）。同時に、さらに16,000人が移植待機リストの対象外となっていたでしょう。末期腎疾患の発生率は3倍高く、白人と比べて黒人の人々でより高いことを考えると、特に望ましくない結果です。
こうした臨床慣行が導入された後に、不公正な医療がさらに悪化するのを防ぐため、もっと早い段階で手を打つことはできたでしょう。しかし、それが主題ではありません。重要なのは、アルゴリズムの適用と潜在的な影響が十分に検討されず、腎不全の疫学的状況や不平等の中に位置づけられていなかったことです。
アルゴリズムのバイアスを超えて
データサイエンスが広く使われるツールとなる中、組織は、技術が既存のアルゴリズムのバイアスを単に自動化するだけにならないようにすべきです。これら3つの重要な考慮事項に取り組み、多分野のチームを編成し、技術の利用開始後も説明責任を果たすことで、組織はアルゴリズムのバイアスを軽減し、既存の不平等の悪化を防ぎ、より公正な環境づくりに貢献できます。
何よりも、あらゆる業界におけるデータサイエンスの普及は今後も続きます。したがって、変革をもたらす成果に向けてその活用を最大化し、初歩的な失敗を避けるために、すべての企業はあらゆる階層でデータサイエンスへの理解を深めることに投資すべきです。
