「このプログラムは人種とは全く無関係だ……あるのは多変数の方程式だけだ。」
これは、シカゴ警察（CPD）の元警察官で、現在シカゴ大学公共政策大学院のアーバン・サイエンス・フェローを務めるブレット・ゴールドスタイン氏の 言葉で、同氏は 2010年にCPDで導入した 予測型取り締まりアルゴリズム について述べたものです。同アルゴリズムは、過去に人々が逮捕された場所に基づいて、警察が犯罪者を探すべき場所を示します。シカゴの「ヒートマップ」であり、CPDは、これによって資源をより効果的に配分できると主張しています。
シカゴ警察は最近また、イリノイ工科大学の電気工学教授マイルズ・ワーニック氏と協力し、アルゴリズムによって「ヒートリスト」（警察の主張によれば、暴力犯罪を起こす可能性が最も高い400人の個人のリスト）を作成しました。批判を受けて、ワーニック氏は、アルゴリズムは「人種、居住地域、その他これに類する情報」を一切使用しておらず、そのアプローチは「偏りがない」「定量的」であると述べました。理解が十分でないアルゴリズムに判断を委ねることで、業界の専門家は、自らのコードがもたらすあらゆる負の影響に対する説明責任を事実上回避しています。
しかし、こうしたアルゴリズムは差別を行い、低所得層や黒人居住地域とその住民を不当に扱っているのでしょうか。産業界がますます多くアルゴリズムを用いて意思決定を行うなかで、多くの研究者が問い始めている問題です。確かに、アルゴリズムそのものは定量的です。問題を解くための一連の計算手順に還元されるものだからです。危険なのは、人によって生み出されたデータで学習するこれらのアルゴリズムが、そのデータに含まれる偏りを反映し、構造的人種差別や少数派集団に対する否定的な偏見を助長しかねないことです。
アルゴリズムが偏りを含むかどうかを見極めるには多くの課題があります。何よりもまず、多くの実務家や「コンピュータの専門家」は、アルゴリズムが容易に差別しうることを、依然として公には認めていません。ますます 多く の 証拠 が次の点を裏付けています ：アルゴリズムによる差別は、可能であるだけでなく、すでに現実に起きています。法律は偏ったアルゴリズムの合法性について不明確であり、アルゴリズム研究者でさえ、アルゴリズムが差別するとはどういうことかを正確には理解していません。
定量的であることは、偏りに対する防御にはなりません
ゴールドスタイン氏とワーニック氏はいずれも、二つの点を根拠に自らのアルゴリズムは公正だと主張しています。第一に、アルゴリズムには人種や居住地域といった保護対象の属性を、明示的に属性として入力していないことです。第二に、アルゴリズムは「定量的」であるため偏っていないと述べています。彼らの主張は抽象性への訴えです。数学は人間ではないのだから、数学を用いることが不道徳であるはずがない、というわけです。
残念ながら、ゴールドスタイン氏とワーニック氏は、社会問題に適用される場合のデータマイニングや数学全般について、よくある誤解を繰り返しています。データマイニングの目的は、隠れた相関関係を発見することそのものです。したがって、データマイニング・アルゴリズムに投入されるデータの中で人種が（明示的ではないものの）不均衡に表れていれば、アルゴリズムは人種を推定し、最終的な判断を下す際に人種を間接的に用いることができてしまいます。
アルゴリズムが、利用者から学習した内容に基づいて偏った結果をもたらしうる簡単な例を挙げましょう。「transgenders are」というフレーズで始まる検索語句を、Google検索がどのように補完提案するかをご覧ください：
出典：Google.com、2015-08-10に取得
オートコンプリート機能は、一般的には集計に過ぎません。見かけた検索をすべて数え上げ、与えられた部分的なクエリに対して最も一般的な補完候補を表示するものです。多くのアルゴリズムは表面上は中立であるかもしれませんが、投入されたデータの傾向を見つけ出すように設計されています。アルゴリズムを不用意に信頼すると、支配的な傾向が有害な差別を引き起こしたり、少なくとも不快な結果をもたらしたりしかねません。
Googleのオートコンプリートのような偏ったデータ以外にも、別の落とし穴があります。Googleの研究者であるモリッツ・ハート氏は、彼が「 サンプルサイズ格差」と呼ぶものを説明しています。その考え方は次のとおりです。たとえば、ある個人が広告をクリックするかどうかを予測したい場合、ほとんどのアルゴリズムは、ユーザーの過去の行動に基づいて誤差を減らすよう最適化されます。
しかし、ユーザーのごく一部が、多数派とは異なる振る舞いをしがちな人種的マイノリティで構成されている場合、アルゴリズムは、多数派に対してより正確であるために、マイノリティのユーザー全員について 誤っている 方がよいと判断し、彼らを「誤差」カテゴリーに分類してしまうかもしれません。したがって、米国の参加者に対して85%の精度を持つアルゴリズムは、黒人の下位集団全体について誤りを犯しながらも、依然として非常に優れているように見えることがあります。
ハート氏はさらに、データ点が誤って分類される理由を特定することは難しいと述べています。アルゴリズムが特定の振る舞いをする理由について説明が備わっていることは稀であり、手軽で（かつ危険な）対応は、問いを立てないことです。
問題の範囲
研究者はアルゴリズムによる差別の理論的な危険性を明確に理解しているものの、実際にその問題の範囲を明確に測定することは困難です。人種差別主義者や性差別主義者とのレッテルを貼られることを恐れて、あるいはさらに悪いことに、優れたアルゴリズムを競合他社に盗まれることを恐れて、データやアルゴリズムを公表しようとする企業や公的機関はありません。
シカゴ警察（CPD）は、情報自由法（Freedom of Information Act）に基づく 開示請求を受けた際でさえ、警察官や名簿に載った人々に対する現実的な脅威を理由に、アルゴリズムやヒートリストを公開しませんでした。これにより、研究者が問題を特定し、場合によっては解決策を提示することが難しくなっています。
法的な障壁
米国の既存の差別禁止法は助けになっていません。せいぜいアルゴリズムへの適用方法が不明確である程度で、最悪の場合は混乱しています。プリンストン大学のポスドク研究員であるソロン・バロカス氏と、米国第3巡回区控訴裁判所の法務助手（ロークラーク）であるアンドリュー・セルブスト氏は、 共同で論じ 、米国の採用法は、採用における差別的アルゴリズムに関する主張に対処していないと指摘しています。
この議論の核心は「事業上の必要性（business necessity）」の抗弁と呼ばれるもので、雇用主は、差別的な影響をもたらす慣行が職務遂行能力に直接関連していることによって正当化されると主張します。バロカス氏とセルブスト氏によれば、企業がアルゴリズムによって採用候補者を決定し、そのアルゴリズムが明白に人種差別的でありながら、職務遂行能力の予測においてわずかでも成功している場合、それは違法な差別ではなく、事業上の必要性とみなされることになります。言い換えれば、法律は 偏ったアルゴリズムの利用を支持しているように見えます。
公平性 とは 何か？
おそらくさらに根深い問題は、そもそもアルゴリズムが公平であるとはどういうことなのかについて、誰も合意していないことです。アルゴリズムは数学的な対象であり、数学は法律よりもはるかに厳密です。公平性を数学的に正確に示す能力がなければ、公平なアルゴリズムを設計できるとは期待できません。公平性の優れた数学的定義は、採用における偏りや性別による偏りに限らず、あらゆる状況やあらゆる下位集団における偏った意思決定をモデル化するものとなるでしょう。
また、公平性は、集団に適用する場合と個人に適用する場合とで、相反する二つの側面を持つように見えます。たとえば、10の職に応募者のプールがあり、アルゴリズムが候補者を完全にランダムに採用すると仮定しましょう。集団全体の観点からは、これは可能な限り公平です。すべての人種、性別、性的指向の人々が等しく選ばれる可能性を持つからです。
一方、個人のレベルで見れば、きわめて優秀な人物が資格にもかかわらず選ばれにくいため、これは可能な限り不公平です。他方、資格のみに基づく採用は、採用における格差を強化します。これら二つの概念が本質的に相反するのか、あるいは両方を合理的に捉える公平性の定義が存在するのかは、誰にもわかっていません。マイクロソフト・リサーチの特別研究員（Distinguished Scientist）であるシンシア・ドワーク氏と同僚たちは、 両者の関係について 研究を続けてきましたが、ドワーク氏自身も、彼らはまだ 表面をかすめた程度に過ぎないと認めています。
企業と研究者の認識を一致させる
アルゴリズムの公平性をめぐる問題には、あらゆる側面で大きな隔たりがあります。今年の「機械学習における公平性・説明責任・透明性に関するワークショップ」で専門家パネルに、手近で取り組みやすい課題は何かと問われた際、彼らは 答えを見つけることに 苦慮しました。私の考えでは、最小限の労力で最大の進歩を得たいのであれば、企業は研究者とデータを共有し始めるべきです。たとえ 提案されている「公平な」アルゴリズムが 文献に現れ始めていても、十分に理解されたベンチマークがなければ、それらを公正に評価することは期待できません。
本記事は The Conversationと協力して掲載されたものです。掲載は、世界経済フォーラムによる見解の支持を意味するものではありません。
Agendaの最新情報を追うには、 週刊ニュースレターにご登録ください。
執筆者：ジェレミー・クン氏は、イリノイ大学シカゴ校の数学博士課程の学生です。
画像：ベルリンにあるKonrad-Zuse Centre for applied mathematics and computer scienceのスーパーコンピューター背面の配線を写した写真。REUTERS/Thomas Peter
