現代のAIシステムで使われるアルゴリズムは、社会的偏見が深く根付いたデータで学習するため、差別的な出力を生み出すことが調査で明らかになった。
こうした検索結果はユーザーのジェンダーバイアスを助長し、採用の判断に影響する可能性があると研究者らは報告している。
研究結果は、バイアスの形成と軽減を明らかにするため、人間の心理学をインターネット検索アルゴリズムに組み込んだ倫理的なAIモデルの必要性を訴えている。
新たな研究によると、ジェンダーに中立な語句でインターネット検索をしても、男性に偏った結果が表示される。
こうした検索結果はジェンダーバイアスを助長してユーザーに影響し、採用の判断にも影響を及ぼす可能性があると研究者らは報告している。
この研究は、学術誌米国科学アカデミー紀要に掲載されたもので、人工知能（AI）が私たちの認識や行動をどのように変えうるかを明らかにした最新の研究の一つである。
「現代のAIシステムで使われるアルゴリズムが、差別的な出力を生み出しているとの懸念が高まっています。社会的偏見が組み込まれたデータで学習しているためと考えられます」と、ニューヨーク大学心理学部の博士研究員で論文の筆頭著者であるマダリナ・ヴラスチャヌ氏は述べる。
「今回の研究結果は、アルゴリズムによるバイアスの形成、作用、軽減を明らかにするため、人間の心理学と計算科学的および社会学的なアプローチを組み合わせた倫理的AIのモデルが必要であることを示しています」と、著者のデイビッド・アモディオ氏（ニューヨーク大学心理学部教授、アムステルダム大学教授）は述べる。
テクノロジーの専門家らは、現代のAIシステムで使われるアルゴリズムが差別的な出力を生み出していると懸念を示してきた。社会的偏見が深く根付いたデータで学習しているためと考えられる。
「1950年代のジェンダーに関する考え方の一部が、今もデータベースシステムに組み込まれています」と、『人工知能ならぬ人工無知：コンピューターはいかに世界を誤解するか』（MIT Press、2018年）の著者で、ニューヨーク大学アーサー・L・カーター・ジャーナリズム研究所の教授でもあるメレディス・ブルサード氏は、今年初めにMarkupに語った。
ヴラスチャヌ氏とアモディオ氏によると、人間の意思決定者がAIを利用すると、既存の格差が縮小するどころか、さらに広がる可能性がある。
この可能性を検証するため、研究者らは、社会における不平等の程度がアルゴリズムの出力に見られるバイアスのパターンと関連しているか、また、そうした出力に触れることで、人間の意思決定者がバイアスに沿った行動をとるようになるかを調べる研究を実施した。
まず、150カ国以上のジェンダー不平等の順位をまとめた「世界ジェンダー・ギャップ指数」（GGGI）を用いた。GGGIは153カ国における経済参加と機会、教育達成、健康と生存、政治的エンパワーメントの各分野でのジェンダー不平等の大きさを示し、社会レベルのジェンダー不平等の国別スコアを提供している。
次に、検索結果、つまりアルゴリズムの出力にジェンダーバイアスがあるかを調べるため、男性または女性を同じ確率で指すはずの単語、たとえば「人」「学生」「人間」が、男性を指すものとされる頻度が高いかどうかを検証した。37カ国で、それぞれの国の主要な現地語で「人」に相当する語句を使い、Google画像検索を行った。その結果、ジェンダー不平等が大きい国ほど、検索で表示された画像に占める男性の割合が高かった。アルゴリズムのジェンダーバイアスは、社会のジェンダー不平等と連動していることが示された。
研究者らは3カ月後、最初の調査対象国31カ国を含む52カ国を対象に同じ調査を繰り返した。結果は最初の調査と一致し、社会レベルのジェンダー格差がアルゴリズムの出力（すなわちインターネット検索）に反映されることを改めて示した。
続いてヴラスチャヌ氏とアモディオ氏は、検索エンジンの結果などのアルゴリズム出力に触れることで、人々の認識や判断が、既存の社会的不平等に沿う形で変化するかを調べた。
そのために、米国の女性と男性を合わせて約400人が参加する一連の実験を行った。
実験では、参加者に、なじみがないと思われる4つの職業「シャンドラー（ろうそく職人）」「ドレイパー（反物商）」「ペルーカー（かつら職人）」「ラピダリー（宝石細工師）」のGoogle画像検索結果を見ていると伝えた。各職業の画像セットにおける男女比は、先述の52カ国調査に基づき、世界的にジェンダー不平等のスコアが高い国（ハンガリーやトルコでは男性約90%、女性約10%）と、スコアが低い国（アイスランドやフィンランドでは男性約50%、女性約50%）で、「人」に相当する語句を検索した際のGoogle画像検索結果を反映するように設定した。これにより、各国でのインターネット検索結果を再現した。
検索結果を見る前に、参加者は各職業について、典型的な担い手がどちらかを評価した（例：「ペルーカーになりやすいのは男性ですか、女性ですか？」）。これは認識の基準値となった。女性、男性とも、これらの職業に就く人は女性より男性である可能性が高いと判断した。
しかし、画像検索結果を見た後に同じ質問をされると、不平等の度合いが低い条件の参加者は、基準値と比べて男性に偏った典型像を逆転させた。一方、不平等の度合いが高い条件の参加者は、男性に偏った認識を維持し、こうした典型像に対する認識を強めた。
次に研究者らは、インターネット検索が引き起こすバイアスが採用の判断に影響する可能性を調べた。参加者に、各職業で男性と女性のどちらが採用されやすいかを評価させ（「ペルーカーとして採用される可能性が最も高いのはどんな人ですか？」）、さらにその職業の求人に応募した候補者2人（女性1人、男性1人）の画像を見せ、どちらを採用するか選ばせた（例：「ペルーカーの職に応募した候補者から1人を選んでください」）。
他の実験結果と同様、不平等の度合いが低い条件の画像を見た参加者は、高い条件の画像セットを見た参加者と比べ、職業ごとの男女の採用傾向についてより平等な判断を示し、女性候補者を選ぶ可能性も高かった。
「今回の結果は、社会、AI、ユーザーの間でバイアスが伝播する循環を示唆しています」とヴラスチャヌ氏とアモディオ氏は記す。さらに、「社会における不平等の度合いがインターネット検索アルゴリズムに表れており、そうしたアルゴリズムの出力に触れると、人間のユーザーが社会的不平等を強化する考え方をしたり、そうした行動をとったりする可能性があることを、今回の研究結果は示しています」と述べている。
