Netflixで映画のおすすめが外れても、大したことではないと思うだろう。同じように、気に入っているスニーカーがAmazonのおすすめ商品の一覧に載らなくても、世界の終わりではないだろう。しかし、アルゴリズムが1から500までの脅威スコアを割り当て、それが刑期の判断に使われるとなれば、こうした予測分析の利用に懸念を抱くかもしれない。
人工知能（AI）は今や、私たちの生活のほぼあらゆる側面に浸透している。当然ながら、機械による予測が常に100％正確とは限らない。しかし、AIが誤った場合の代償は、重大な結果を伴う分野で導入されると、劇的に大きくなる。たとえば医療では新たながん治療を推奨することがあり、刑事司法では容疑者が再犯する可能性を裁判官が評価するのを支援することがある。実際、近年のAI利用の中でも特に議論を呼んでいるものの一つが、予測型警察活動である。
一般の人々にとって、予測型警察活動の手法は、トム・クルーズ主演の2002年のSF映画『マイノリティ・リポート』で最もよく知られているだろう。フィリップ・K・ディックの短編小説を原作とするこの映画は、犯罪を予測し、未然に防げる未来を描いている。これは非現実的なユートピアのように聞こえるかもしれない。しかし、予測型司法はすでに現実のものとなっている。高度な機械学習システムを基盤として、裁判所に予測サービスを提供する新興企業が相次いでいる。たとえば、犯罪者が再犯する可能性を推定するリスク評価アルゴリズムなどがある。
機械は将来犯罪を犯す人を見分けられるのか？
2013年に逮捕されたエリック・ルーミスは、さらなる犯罪を犯すだろうという不透明なアルゴリズムによる予測も判断材料の一つとして、懲役6年の判決を受けた。企業であるEquivant（旧Northpointe）は、独自ソフトウェアを開発し、エリック・ルーミスの事件で使用した。同社は、司法判断をアルゴリズムで詳細に支援するため、被告を360度の視点から評価したと主張している。
この企業は、米国の予測型司法分野における数多くの事業者の一つだ。電子プライバシー情報センターの最近の報告書によると、アルゴリズムは「保釈金の設定、量刑の決定、さらには有罪か無罪かの判断にも寄与する」ため、法廷での利用が拡大している。AIが人間の判断を補完し、裁判所で機械知能の活用が進むことは、司法制度全体にとって非常に有益となる可能性がある。
しかし、ProPublicaの調査報道は、こうしたアルゴリズムが法執行データに含まれる人種的偏見を強化しがちだと明らかにした。アルゴリズムによる評価では、黒人の被告が白人の被告に比べ、将来犯罪を犯す人として誤って判定される割合がほぼ2倍に上る。さらに、こうしたリスク評価を利用した裁判官は、スコアの算出方法を理解していないことが多かった。
これは問題だ。なぜなら、機械学習モデルの信頼性は、学習に使うデータの信頼性に左右されるからだ。元のデータに何らかの偏りがあれば、構造的な不平等や不公正な偏見が再現されるだけでなく、増幅される恐れがある。この点で、AIエンジニアは自らの盲点や暗黙の前提に特に注意しなければならない。重要なのは機械学習の手法の選択だけでなく、AIモデルの学習データを探し、整理し、ラベル付けする際の細かな判断の一つひとつでもある。
偏ったデータは、偏ったアルゴリズムを生む
わずかな不規則性や偏りでさえ、最終的なリスク評価に測定可能な差を生みうる。人種的偏見や構造的差別といった問題が、私たちを取り巻く世界に深く根付いていることが、根本的な課題だ。
たとえば、薬物使用率は同程度であるにもかかわらず、薬物関連の容疑で逮捕される割合は黒人の米国人の方が白人の米国人の4倍に上るという証拠がある。エンジニアがこのデータを忠実に収集し、それを使って機械学習モデルを訓練したとしても、AIはモデルの一部としてデータに埋め込まれた偏見を学習してしまう。
不平等の体系的なパターンは、あらゆるところにある。2014年から2015年にかけての興行収入上位の映画を見ると、女性キャラクターはスクリーンに映る時間でも発言時間でも、著しく少なく描かれていることがわかる。新しい機械学習モデルは、こうした不平等を定量化できるが、エンジニアがそれを先回りして軽減する方法については、未解決の問いが数多く残されている。
Googleが最近行った「Quick, Draw!」の実験は、偏見への対処がなぜ重要かを鮮明に示している。この実験では、世界中のインターネット利用者を招き、楽しいお絵描きゲームに参加してもらった。各ラウンドで、参加者は20秒以内に物を描くよう求められた。その後、AIシステムが何を描いたのかを推測した。100カ国から2,000万人を超える人々が参加し、猫、椅子、ポストカード、蝶、街並みなど、さまざまな物を描いた多様な絵が20億点以上集まった。
しかし研究者がデータセットに含まれる靴の絵を調べると、強い文化的偏りがあることに気づいた。初期の参加者の多くは、コンバースのスニーカーのような靴を描いていた。そのためモデルは、スニーカーの典型的な見た目を「靴」の典型例として学習した。その結果、ハイヒールやバレエシューズ、クロッグのようなスニーカーに似ていない靴は、靴として認識されなかった。
最近の研究によれば、対策を講じなければ、機械学習モデルは「医師は男性」「受付係は女性」といった時代遅れの性別ステレオタイプを学習する。また、歴代米国大統領の画像で訓練したAIモデルが、大統領選で勝利する可能性のある候補者として男性だけを予測することも示されている。
AIの公平性を考慮した設計
2018年10月、データ保護・プライバシーコミッショナー国際会議は、AIに関する国際的なガバナンス原則の策定に向けた初期の取り組みの一つとして、「人工知能における倫理と保護に関する宣言」を発表した。この宣言は、「人工知能におけるデータ利用から生じる可能性のある違法な偏見や差別は、軽減・緩和されるべきである」と述べている。この考え方には、AIをより広範な倫理的・法的基準で評価する必要があるという主張が含まれている。評価基準は、分類精度や混同行列だけではない。この議論を踏まえ、予測型司法におけるAIの公平性について、次の原則を提案する。
1. 代表性
不公正な偏見を防ぐには、すべての人々がデータに等しく反映される機会を持つべきだ。そのため、十分に代表されていない集団を学習データセットに慎重に加える必要がある場合もある。また、偏りのある機械学習モデルを、多様なデータソースを用いて大幅に再訓練する必要がある場合もある。Googleの「Quick, Draw!」の実験では、エンジニアリングチームは代表性の欠落を補うため、ハイヒールやクロックスなど、他の種類の靴の学習用サンプルを追加で意図的に探し出す必要があった。さらに、最近の研究では、機械学習における望ましくない偏見の軽減を支援するために、データの不適切な代表性を測定する新たなアルゴリズム技術が提示されている。
2. 保護
機械学習システムは、個人に不公正な影響を及ぼさないようにする必要がある。特に、社会的・身体的な脆弱性や、その他の機微な属性に関わる影響に配慮しなければならない。これには、人種、民族、性別、国籍、性的指向、宗教、政治的信条などが含まれる。アルゴリズム全体の公平性は、その影響を受ける人々のうち最も脆弱な人々にどのような影響を及ぼすかによって判断すべきだ。
しかし、機械学習モデルから機微な変数を単に除外するだけでは、それらと相関する可能性のある多様な交絡因子があるため、問題は解決しない。刑事司法に関する研究では、犯罪歴のデータセットから人種の項目を除いても、人種によって異なる予測が依然として生じることが示されている。むしろ、人種間の格差やその他の機微な情報を、補助的な機械学習アルゴリズムを使ってデータセットから取り除けることを示す初期的な証拠がある。将来的には、この手法によってエンジニアが再犯予測のための「人種中立的」なAIシステムを構築できるようになることが期待される。
3. スチュワードシップ
アルゴリズムの公平性は、不正義が存在しないことだけを意味するのではない。機械学習システムの設計において、公平性を絶えず追求する積極的な責任を表す。この責任を担う姿勢は、互いの暗黙の前提に異議を唱え合う多様なチームによってこそ実現できる。
定期的な無意識の偏見に気づき、それを取り除くための演習などを通じて、チームは多様な視点への理解を深めることができる。ProPublicaやPrivacy Internationalなど、複数の非政府組織も、大規模なAIモデルを開発する企業において、多様性を重んじるスチュワードシップを提唱し始めている。したがって、包摂の文化を育むことによって初めて、企業はチームが機械学習における不公正な偏見に対処するための適切な環境を整えられる。
4. 真正性
最後の原則は、学習データの真正性だけでなく、人間の意思決定に情報を提供するために使われるAI予測の真正性にも関わる。たとえば、潜在的に有害または悪用される可能性のある用途を制限する取り組みが続けられてきたにもかかわらず、機械学習は過去にディープフェイクを通じて現実を歪めるために使われてきた。AIの悪用が広がれば、悪意ある者が、人々が実際には一度も口にしていないことを話す偽の動画や、現実には起きていない状況を写した偽の画像を作り出すのを助ける可能性がある。極端な場合、裁判官が、描写されたメディアや証拠がもはや判断できなくなるほどになり、そこに示された内容が真実に合致するかどうかを見極められなくなる世界につながりかねない。したがって、一部のメディア評論家は結論づける「AIによる最大の犠牲は雇用ではなく、目にするもの、耳にするものすべてへの信頼が最終的かつ完全に失われることだ」と。幸い、AI研究者たちはすでに、効果的で拡張性のある対策に取り組み、さまざまな形態の改ざんメディアを検出しようとしている。
機械の偏りに対抗する機械
この4つの原則は、特に予測司法にAIを用いる場合に、AIの公平性について議論を始める助けとなる。機械学習において、公平性が初期設定で備わっていることは決してない。そのため、エンジニアは、この初期設定を変えるための先手を打った取り組みを行う必要がある。AIの公平性を積極的に設計に取り入れなければ、有害な偏見や固定観念を永続させるおそれがある。
しかし、AIの最も目覚ましい点の一つは、アルゴリズムを効果的に活用して、不公平な偏見を測定し、軽減することもできる点だ。今後、エンジニアがこうした手法を発展させ、偏見のない予測を通じて人間の意思決定者を有意義に支援できるようになることが期待される。
