機械学習アルゴリズムは、設計者が設定した数学的な目標に向かって盲目的に動作する。この目標には、倫理的に振る舞う必要性も含めることが極めて重要だ。
こうしたシステムは急速に普及している。企業は、どのニュースを目にするかや、オンラインデーティングで誰と出会うかを決めるために利用している。政府も、機械学習を導入して、行政サービスを提供したり、監査対象者を選んだりし始めている。
しかし、こうしたシステムを動かすアルゴリズムは、想像するよりずっと単純だ。アイザック・アシモフのSF小説に登場するロボットよりも、ポケット電卓に近い。通常、アルゴリズムは、自らが行動する状況や、判断がもたらす倫理的な影響を理解していない。
機械学習アルゴリズムの予測は、専門家の知識ではなく、例となるデータを一般化することで導き出される。たとえば、アルゴリズムはあなたの経済状況を使って、ローンを返済できなくなる可能性を予測するかもしれない。このアルゴリズムは、返済できた過去の顧客とできなかった顧客の財務情報を使って「訓練」される。
このため、機械学習システムの倫理性は、明示的な数式として与えなければならない。しかも、それは簡単な作業ではない。
データから学ぶ
私が働くData61は、政府や国内外の企業向けに機械学習システムを設計、構築してきた。その中には、製品の振る舞いが倫理的な影響を及ぼす複数のプロジェクトが含まれている。
大学が、先を見据えた学生募集の方針を採ることにしたと想像してほしい。過去の成績に基づいて選抜する代わりに、大学は、将来優れた成績を収めると予測される学生を入学させる。
大学は、過去の出願者とその後の成績に関する情報を使って機械学習アルゴリズムを訓練し、こうした予測を行うことができる。
この訓練は、非常に具体的な方法で行われる。アルゴリズムには振る舞いを制御する多数のパラメーターがあり、訓練では、データに関連する特定の数学的目標を達成するよう、これらのパラメーターを最適化する。
最も単純で一般的な目標は、訓練データを平均して正確に予測できるようにすることだ。大学の場合、この目標に従って、過去の出願者の成績をできるだけ正確に予測するようアルゴリズムを調整する。
倫理的な目標
しかし、「できるだけ間違いを少なくする」といった単純な予測目標は、意図せず非倫理的な意思決定を生み出すことがある。
広く使われているこの目標では見落とされる、重要な問題をいくつか考えてみよう。
1. 人によって異なる誤り
アルゴリズムは訓練データ全体で平均した誤りの大きさだけを重視するため、人の種類によって「正確さ」が大きく異なることがある。
この影響は、少数派に対してしばしば生じる。訓練データに含まれる人数が少ないため、その人たちの成績をうまく予測できなくても、アルゴリズムへのペナルティは大きくならない。たとえば、男性が多い課程の成績を予測する大学では、全体の正答率が90%でも、女性に対しては50%にとどまることがありうる。
これに対処するには、男女双方の予測精度を等しく重視するよう、大学はアルゴリズムの目標を変更しなければならない。
2. アルゴリズムの予測には不確かさがある
単純な機械学習アルゴリズムは「最善の推測」による予測を示すが、より高度なアルゴリズムは、その予測に対する自らの確信度も評価できる。
その確信度を正確にすることも、アルゴリズムの目標における重要な要素になりうる。たとえば大学は、予測成績が不確かな出願者に対し、「疑わしきは被告人の利益に」という倫理原則を適用したいと考えるかもしれない。
3. 過去のデータに潜む偏り
大学のアルゴリズムは、過去のデータだけから予測方法を学んでいる。しかし、そのデータで成績を付けた教授に偏見があった場合（特定の少数派に対する偏見など）、新たな予測にも同じ偏りが生じる。
大学は、偏りを補正するようアルゴリズムの目標を変更し、今後の入学選考からその偏りを取り除かなければならない。
4. 優先事項の衝突
適切な数学的目標を作るうえで最も難しいのは、倫理的な考慮事項がしばしば相反することだ。大学の場合、ある少数派グループに対するアルゴリズムの予測精度を上げると、別のグループに対する精度が下がる。完璧な予測システムはなく、その限界は常に、一部の学生に他の学生より大きな影響を及ぼす。
こうした競合する要素を一つの数学的目標の中で調整するには、唯一の正解がない複雑な判断が求められる。
倫理的なアルゴリズムを構築する
一見単純な問題にも、複雑な倫理的考慮事項が数多くある。では、この大学や企業、政府は、実際の機械学習システムが倫理的に振る舞うよう、どうすれば確保できるのだろうか。
第一歩として、「倫理エンジニア」を任命できる。その役割は、設計者からシステムに求められる倫理要件を聞き取り、それを数学的な目標に変換し、システムが本番環境に移行した後も、アルゴリズムがその目標を達成できているか監視することだ。
残念ながら、この役割は現在、（そもそも設けられている場合でも）「データサイエンティスト」の一般的な職務に組み込まれており、本来受けるべき注意が払われていない。
倫理的な機械学習システムを作るのは簡単ではない。競合する優先事項の調整、社会の期待の理解、さまざまな不利益への配慮が必要だ。しかし、それこそが、政府や企業が社会から期待される倫理基準を維持するための唯一の方法である。
