意思決定の自動化に使われる予測ソフトウェアは、恵まれない人々に不利益を与えることが多い。貸し手が、条件の似た白人の申込者より黒人の申込者を審査で否決する可能性は80%高い。
イェール大学経営大学院（Yale SOM）のソヘイル・ギリ氏と同僚が考案した新たな手法は、正確さを保ちながらバイアスを大幅に減らせる可能性がある。
この新しいアルゴリズムは潜在的な差別を避けると同時に、性別や人種が異なっていても、それ以外は同一の2人の申込者が同じ扱いを受けることを保証する。
融資の申込者を審査する場合も、犯罪者が再犯する可能性を評価する場合も、組織は意思決定の参考としてアルゴリズムをますます活用している。しかし、一見「客観的」に見えるこうしたソフトウェアには、見えにくいバイアスが潜んでいる。最近の調査でThe Markupは、貸し手が、条件の似た白人の申込者より黒人の申込者を審査で否決する可能性が80%高いことを明らかにした。この格差の大部分は、一般的に使われている住宅ローン審査アルゴリズムに起因するとされる。
人種を無視するようアルゴリズムに指示し、文字どおり計算式から人種の情報を取り除けばよいと思えるかもしれない。しかし、この方法では「潜在的な差別」と呼ばれる、より見えにくいバイアスが生じる可能性がある。例えば、黒人は特定の地域により多く居住している場合がある。そのためソフトウェアは、融資を返済する可能性を居住地と結びつけ、実質的に地域を人種の代理指標として使ってしまう。
アルゴリズムは社会全体にあるバイアスを取り込み、それを強化することもあると、ソヘイル・ギリ教授は言う。「このモデルは暗黙のうちに、『この集団を差別的に扱った人々の判断は正しかった』と言っているのです。」
新たな研究で、イェール大学経営大学院のマーケティング助教授ソヘイル・ギリ氏と同僚は、別の解決策を提案した。提案されたシステムでは、性別や人種といったセンシティブな特徴を、過去のデータにあるパターンを認識するためにソフトウェアを「訓練」する際には含める。一方、新たな事例を評価する際には、そうした属性を隠す。この方法なら「精度を大きく損なわずに、差別を大幅に減らせる」とギリ氏は言う。
アルゴリズムがますます重要な意思決定に使われるようになるなか、アルゴリズムのバイアスに対処しなければならないとギリ氏は言う。ある人種の人々は再犯しやすいと再犯予測アルゴリズムが判断しても、実際の理由が、無実であってもその人々がより頻繁に逮捕されることにあるなら、「このモデルは暗黙のうちに、『この集団を差別的に扱った人々の判断は正しかった』と言っているのです」とギリ氏は語る。
さらに、アルゴリズムの出力によって恵まれない人々への資源配分が差し控えられれば、この不公平な仕組みは「悪循環」につながると同氏は言う。そうした人々は「さらに周縁化されていくでしょう」。
機械学習アルゴリズムによる予測は、2段階で行われる。まず、属性と特定の結果がどのように結びついているかを「学習」できるよう、アルゴリズムに訓練データを与える。例えば、再犯を予測するソフトウェアは、犯罪者の人口統計上の詳細や履歴を含むデータで訓練されることがある。次に、新たな事例に関する情報をアルゴリズムに与え、過去の事例との類似性に基づいて、その後に何が起きるかを予測させる。
訓練データからセンシティブな情報を取り除くと潜在的な差別につながる可能性があるため、研究者はバイアスを減らす別の方法を見つける必要がある。例えば、予測の精度を最大限に高めようとしながら、恵まれない人々のスコアを引き上げる方法が考えられる。
しかしこの場合、人種や性別以外は同一の2人の申込者が、異なるスコアを受ける可能性がある。また、こうした結果は「反発を招く可能性が往々にしてある」とギリ氏は言う。
ギリ氏は、イェール大学の電気工学・コンピューターサイエンス准教授アミン・カルバシ氏、および現在Googleに所属するエーサン・カゼミ氏と協力し、別の解決策を探った。研究者らは「訓練してからマスキングする（train then mask）」アルゴリズムを考案した。
訓練中、ソフトウェアにはセンシティブな特徴を含め、過去の事例に関するすべての情報を与える。この手順により、センシティブな特徴の代理指標になり得る居住地など、無関係な要素にアルゴリズムが誤って過度の重要性を与えるのを防ぐ。融資の例では、融資返済に影響する重要な要素として、ソフトウェアは人種を特定する。
しかし第2段階では、センシティブな特徴を隠す。すべての新規事例で、そうした特徴に同じ値を割り当てる。例えば、予測上はすべての融資申込者を白人男性と見なすことができる。これにより、個人を比較する際、アルゴリズムは人種（および人種の代理指標）だけに頼らず判断するようになる。
「誤解のないように言うと、『訓練してからマスキングする』方法は、性別や人種などのセンシティブな特徴を『認識する』ことでアルゴリズムのバイアスに対処しようとする唯一の手法では決してありません」とギリ氏は言う。「しかし、提案されている他の多くの手法とは異なり、『訓練してからマスキングする』方法は、恵まれない人々への支援を重視すると同時に、その他のセンシティブでない特徴がすべて同じ人々を同じように扱うことを徹底します。」
研究者らは、個人の所得状況、信用申込者が期日どおりに請求額を支払うかどうか、犯罪者が再犯するかどうかという3つの課題で、このアルゴリズムを検証した。実世界のデータを使ってソフトウェアを訓練し、出力を他のアルゴリズムの結果と比較した。
「訓練してからマスキングする」方法の精度は、不公平を減らすための変更を加えていない「制約なし」のアルゴリズムとほぼ同等だった。例えば、制約なしのソフトウェアは所得状況を82.5%の確率で正しく予測し、「訓練してからマスキングする」アルゴリズムの同じ課題での精度は82.3%だった。
この方法のもう一つの利点は、ギリ氏が「二重の不公平」と呼ぶ問題を避けられることだ。多数派と少数派の集団がいる状況を考えてみよう。すべてが完全に公平であれば、例えば少数派の人々のほうが高学歴である傾向にあるため、特定の指標では多数派より良い成績を上げるとする。しかし差別のために、少数派の成績は多数派と同じになっている。
ここで、人口統計上の特徴に基づいて人々の成績を予測するアルゴリズムを考えてみよう。ソフトウェアの設計者が、集団間の出力の平均差を単純に最小化してバイアスをなくそうとすれば、その方法は少数派に不利益を与える。正しい出力では、少数派の平均スコアは多数派と同じではなく、それより高くなるはずだ。
「訓練してからマスキングする」アルゴリズムは、集団間の出力の差を明示的に最小化しないとギリ氏は言う。そのため、この「二重の不公平」の問題は生じない。
集団間の平均スコアをできるだけ近づけることを優先する組織もあるだろう。その場合、「訓練してからマスキングする」アルゴリズムは適切な選択ではないかもしれない。
ギリ氏によると、どの種類のバイアスへの対処を組織が最も重視するかによって、同氏のチームの方法があらゆる課題に適しているとは限らない。しかし他のいくつかの手法とは異なり、新しいアルゴリズムは潜在的な差別を避けると同時に、性別や人種が異なっていても、それ以外は同一の2人の申込者が同じ扱いを受けることを保証する。
「この2つを同時に実現したいのであれば、この方法が適していると思います」とギリ氏は言う。
