MITとスタンフォード大学の研究者が今月後半に開催される「公平性・説明責任・透明性に関する会議」で発表する新たな論文によると、大手テクノロジー企業が商用リリースした顔分析プログラム3種には、肌の色とジェンダーの双方に関する偏りが見られる。
研究者らの実験では、肌の色が薄い男性の性別を判定する際、3つのプログラムの誤認率はいずれも0.8％を超えなかった。一方、肌の色が濃い女性では誤認率が大幅に上昇し、1つのプログラムで20％超、残る2つでは34％超となった。
この結果は、膨大なデータセットからパターンを探して計算タスクを実行する方法を学ぶ今日のニューラルネットワークが、どのように訓練され、評価されているのかという疑問を投げかける。たとえば論文によると、ある大手米国テクノロジー企業の研究者は、自ら設計した顔認識システムの正確度が97％を超えると主張した。しかし、その性能評価に使われたデータセットは、男性が77％超、白人が83％超を占めていた。
「ここで本当に重要なのは手法と、その手法をほかの用途にどう適用できるかです」と、MITメディアラボのシビック・メディア・グループの研究者で、新論文の筆頭著者であるジョイ・ブオラムウィニは語る。「誰かの性別を判定しようとするために使える、同じデータ中心の技術は、犯罪容疑者を探す際の人物特定や、スマートフォンのロック解除にも使われています。コンピュータービジョンだけの問題ではありません。こうした格差［ほかの格差］を調べる研究がさらに進むことを強く願っています」
ブオラムウィニとともに論文を執筆したのはティムニット・ゲブルで、研究が行われた当時はスタンフォード大学の大学院生だった。現在はマイクロソフト・リサーチの博士研究員である。
偶然の発見
ブオラムウィニとゲブルが調査した3つのプログラムは汎用の顔分析システムで、異なる写真の顔を照合できるほか、性別、年齢、気分などの特徴を評価できる。3つすべてが性別分類を男性か女性かの二択として扱っていたため、このタスクでの性能は統計的に特に評価しやすかった。しかし、同じ種類の偏りは、ほかのタスクにおけるプログラムの性能にも影響している可能性が高い。
実際、ブオラムウィニが調査を始めるきっかけとなったのは、プログラムの1つによる顔追跡に明らかな偏りがあると偶然気づいたことだった。
数年前、メディアラボの大学院生だったブオラムウィニは、「アップビート・ウォールズ」と名付けたシステムに取り組んでいた。これは、ユーザーが頭を動かして反射面に投影されたカラフルな模様を操作できる、双方向型のマルチメディア・アート作品だった。ユーザーの動きを追跡するため、このシステムは商用の顔分析プログラムを使用していた。
ブオラムウィニがこのプロジェクトのために集めたチームは民族的に多様だったが、装置を一般向けに披露する段になると、肌の色が比較的薄いチームメンバーの1人に実演を頼らざるを得ないことが分かった。肌の色が濃いユーザーでは、システムが安定して動作しないようだった。
疑問を抱いたブオラムウィニは、自身が黒人であることから、商用の顔認識プログラムに自分の写真を送信し始めた。いくつかのケースでは、プログラムは写真に人の顔が写っていることすら認識できなかった。認識できた場合も、ブオラムウィニの性別を一貫して誤分類した。
定量的な基準
プログラムの偏りを体系的に調べ始めるにあたり、ブオラムウィニはまず、顔分析システムの評価に通常使われるデータセットよりも、女性や肌の色が濃い人がはるかに多く含まれる画像セットを作成した。最終的なセットには1,200枚を超える画像が含まれた。
次に、皮膚科医の外科医と協力し、皮膚科医が日焼けのリスクを評価する手段として開発した、肌の色を明るい色から濃い色まで6段階で示すフィッツパトリック・スケールに基づいて、画像を分類した。
その後、新たに構築したデータセットに、大手テクノロジー企業の商用顔分析システム3種を適用した。3種すべてで、性別分類の誤認率は男性より女性で、また肌の色が薄い被験者より濃い被験者で、一貫して高かった。
肌の色が濃い女性、すなわちフィッツパトリック・スケールでIV、V、VIに分類された女性では、誤認率は20.8％、34.5％、34.7％だった。しかし、2つのシステムでは、データセット内で最も肌の色が濃い女性、つまりVIに分類された女性の誤認率はさらに高く、46.5％と46.8％に達した。実質的に、こうした女性については、システムは性別を完全にランダムに推測しているのと同じだった。
「商用システムで、二択の分類タスクに単純化されたものについて、3人に1人を誤るなら、失敗率が別のサブグループで同じだった場合にも許容されただろうか、と問わなければなりません」とブオラムウィニは語る。「もう1つの大きな教訓は……成功を測る基準であるベンチマーク自体が、進歩しているという誤った印象を与えることがある、という点です」
「この分野では、データセットがモデルの挙動に大きな影響を与えます」と、IBMの人工知能システム「ワトソン」のチーフアーキテクト、ルチル・プリは語る。「現在、新しいモデルを公開しています。ジョイが調べたベンチマーク全体で、正確度がより均衡しています。種類のバランスを取った50万枚の画像を用いており、基盤となるニューラルネットワークも異なり、はるかに堅牢です」
「こうしたことに取り組むには時間がかかります」と彼は付け加える。「この件にはおよそ8～9か月取り組んできました。このモデルは彼女の論文への直接的な対応として作ったものではありませんが、彼女が提起した疑問に、彼女のベンチマークも含め、直接取り組むことにしました。彼女は非常に重要な点を指摘しており、私たちの新たな取り組みがそれらにどの程度応えられるかを検討すべきです」
