労働市場や採用における人工知能（AI）の役割は急速に拡大しており、アルゴリズムによる採用システムも増えています。
ある調査によると、米国の人事責任者の55%が採用に予測アルゴリズムを利用しています。
一部のAIシステムは構造的な偏りを減らす機会をもたらす一方で、新たな形の差別を生み出すものもあります。
そうした基準を確保する方法の一つとして、アルゴリズム監査が提案されています。
ブルッキングス研究所のアレックス・エングラー氏が、その仕組みを解説します。
アルゴリズムによる採用システムは増加しており、一部には構造的な偏りを減らす機会をもたらすものがある一方、新たな形の差別を生み出すものもあります。概して、アルゴリズムの利用は公正な雇用プロセスを可能にし得ますが、意味のある基準がなければ、それが保証されるわけではありません。そうした基準を確保する方法の一つとして、アルゴリズム監査が提案されており、アルゴリズムによる採用システムの監査の初期の事例も一般に公開されています。これらの監査と関連するインセンティブを検証すると、アルゴリズム監査だけでは説明責任は生まれないことが分かります。本稿は、アルゴリズム監査の具体的な構成要素に関する基準の策定に向けた道筋と、それを規制当局の監督によって実施する方法を提示します。
はじめに
労働市場や採用における人工知能（AI）の役割は急速に拡大しており——ある業界調査によると、米国の人事責任者の55%が採用に予測アルゴリズムを利用しています。現在では、採用プロセスのほぼすべての段階でアルゴリズムツールを利用できます。求職者はLinkedIn、Monster、Indeedといったソーシングプラットフォームを通じて求人を見つけることができ、採用担当者も同じプラットフォームを通じて候補者を見つけることができます。多くの企業は履歴書の分析にアルゴリズムシステムを導入しています。一方、JobScanやVMockのような別の企業群は、アルゴリズムが他のアルゴリズムに対して履歴書をどう見せるかを改善するためにアルゴリズムを利用しています。PymetricsやPredictiveHireのような他の企業は、職務成績を予測するためのAIへの入力として、専門的なアンケートや評価を作成しています。企業はAIを使って録音された発言をテキストに起こし、その文章による回答を自然言語処理で分析することがあります。HireVueやTalViewのような一部のベンダーは、これらの面接で顔分析を利用してきました——これは、AIにできることの限界をはるかに超える作業です。これらのベンダー以外にも、大企業は採用を支援するために独自の社内アルゴリズムツールを構築しています。在籍期間、給与、昇進を部分的に決定するためにデータを利用することが多い日常的な従業員監視でさえ、このアルゴリズムによる選考の仕組みの一部と見なすことができます。
これらのアルゴリズムツールに共通する特徴は、候補者について収集されたデータを用いて、その人が職務でどの程度の成果を上げられるかを推定する点です。多くの場合、教師あり機械学習と呼ばれるAIの一分野が用いられます。企業は、採用の期間とコストを削減し、また職場の多様性や新規採用者の成果を向上させる可能性を高めるために、これらのツールを構築または調達しています。この点は、綿密な調査（Upturnによる、アルゴリズムによる雇用における差別の懸念に関するもの）で示されています。個々の求職者にとっては影響はそれほど明確ではなく、アルゴリズムの想定に当てはまらない人々は除外される可能性があります。さらに、採用プロセス全体にわたるアルゴリズムの広がりは前例がなく、特に構造的な差別に関して、これらのシステムが労働経済に与える影響への懸念を生んでいます。
研究では、アルゴリズムによる採用プロセスに偏りが入り込む経路が数多くあることが示唆されています。人事評価や給与といった職場での成功指標を予測する機械学習モデルは、実際には一部がスキルとは無関係な環境要因、例えば過去の職場における偏見の結果であるにもかかわらず、高い評価を能力によるものとみなす可能性があります。
「[T]アルゴリズムの採用プロセス全体への広がりは前例がなく、これらのシステムが労働経済に与える影響、特に構造的な差別に関する懸念を生んでいます。」
履歴書や面接の書き起こしなど、自然言語を分析するために用いられるモデルは、女性と障害のある人々に対する偏りを示してきました。音声認識モデルは、アフリカ系アメリカ人に対して明確な偏りを示しており、また方言や地域差の話し方全般にわたる潜在的な問題もあります。商用のAI顔分析は、大部分が疑似科学的であることに加えて、肌の色による明確な格差を示しており、障害のある人々にとって深刻な懸念です。求人情報を配信するアルゴリズムは、意図せずSTEM職における若い女性や同様に高齢の候補者への年齢差別に対して偏った結果を生むことがあります。多くの記録されたアルゴリズムの偏りの事例は、上記で詳述したアルゴリズムによる評価の長い一連の流れを踏まえると、特に問題です。個々のアルゴリズムにおける小さな偏りでも、容易に蓄積して、より大きな構造的問題につながりかねません。
次の影響力のある論文では、他の点では同一の履歴書において白人的に聞こえる名前とアフリカ系アメリカ人的に聞こえる名前を入れ替えたところ、人間も採用において著しい偏りを示すことが分かりました。2017年には、メタ分析では、28件の研究を対象とした分析で「過去25年間で、アフリカ系アメリカ人に対する採用上の差別の水準に変化は見られない」と記されており、ラテン系住民に対する差別はわずかに減少しました。残念ながら、心理学研究の綿密なメタ分析では、人間の意思決定における暗黙の偏りを緩和することが非常に難しいことが示されています。研究は、多様性と包摂性の取り組みが、例えばテクノロジー業界の女性の成果を改善してこなかったことも示しています。現在使用されている他の候補者評価ツール（例えば認知能力テスト）も、人種による大きな偏りを示し、差別的な影響を生むことがあります。IQテストを含む認知能力テストは、数十年にわたり採用プロセスで重要な役割を果たしてきましたが、その偏りを示す有力な証拠があるにもかかわらず、その有効性を示す根拠は比較的弱いのが実情です。そのため、アルゴリズムツール以前の採用プロセスにも構造的な偏りがあり、必ずしも望ましいものとみなすべきではないと考えることが極めて重要です。
概して言えば、特定の状況下で、また慎重な導入を伴えば、偏りの発生率を低減し、意思決定プロセスにおいて偏りは技術的なレベルで低減でき、言語モデル内の調整、または予測される結果変数を変更することで低減できます。別の方法として、アルゴリズムによって生成されたランキングの使い方を変えることで、公正な結果を生み出すことができます。偏りのあるモデルであっても、採用においては、アルゴリズムは雇用プロセスの特定の側面における偏りの是正にも用いられてきました。例えば、応募書類から人種、性別、人口統計情報を隠す支援や、より多様な候補者を惹きつけるための求人票の表現の書き換えです。
2019年の論文「Discrimination in the Age of Algorithms」は、アルゴリズムの擁護を最も包括的に展開し、アルゴリズムは人間の意思決定よりも透明性が高くなり得ると正しく結論づけています。そのため、アルゴリズムは「可能性を持ち、差別と闘ううえで重要な前進を遂げられる」のです。現時点での証拠はこの結論を支持していますが、実際の応用場面でのさらなる評価が必要です。例えば、雇用アルゴリズムは独自性があるため、実務における影響についての体系的な分析はまだ行われていません。とはいえ、深く欠陥のある現状と、偏りを減らすためのアルゴリズム的アプローチが持つ潜在的な能力を踏まえると、どの社会技術的システムとインセンティブが最善の結果につながるかを検討する必要があります。
市場のインセンティブと政府の監督がアルゴリズム開発にどのような影響を与えるかを検討することは重要です。そうしないと、ベストプラクティスが広がるとは限らないからです。監督や訴訟の脅威がない場合、こうした雇用モデルが公正性への取り組みにおいて概して厳密であると考えるには、懐疑的になる十分な理由があります。その理由のうち最も顕著なのは、公正性への徹底した取り組みはより高コストになることです。高度なスキルを持つデータサイエンティストやエンジニアに、新機能の構築やモデルのクライアントへの提供ではなく、堅牢で公正なアルゴリズムプロセスの構築を任せるには時間がかかります。さらに、これらのモデルの開発に使うために、導入前により多様で代表的なデータを収集するにも費用がかかります。これらのシステムが運用される規模も懸念事項です。こうした雇用アルゴリズムは、累計で数千万人に影響を与えています。つまり、差別的な結果は、容易に数千人、あるいは数百万人もの人々に被害を与えかねません。従業員を採用するためにこうしたアルゴリズムシステムを調達するクライアント企業は、アルゴリズムによる採用システムを通じて多様性を促進することに本当に関心を持っていることが多いでしょう。しかし、これらのシステムのベンダーは、いずれも「偏りのないモデル」という強い主張をしているため、差別の禁止という観点でベンダー間の違いを見分けることは困難です。アルゴリズム監査は、こうした差別禁止に関する主張を検証するための有望な方法の一つです。
雇用におけるアルゴリズム監査
アルゴリズムシステムにおける偏りへの懸念に応えるうえでのアルゴリズム監査の役割への関心が高まっています。アルゴリズム監査では、独立した第三者が、偏りだけでなく、正確性、頑健性、解釈可能性、プライバシー特性、その他の意図しない結果についても、アルゴリズムシステムを評価することがあります。監査では問題を特定し、開発者に改善策や代替案を提案することになります。システムの改善に加えて、アルゴリズム監査は、その結果が公開されれば、消費者やクライアントの信頼を築くことにも役立ちます。この考え方を中心に小規模な業界が生まれており、アルゴリズム監査を専門とするO’Neil Risk Consulting & Algorithmic Auditing（ORCAA）やParity AIなどの企業、Fiddler、Arthur、Weights & Biasesなどのアルゴリズム監視に特化したその他の企業が含まれます。
コンピュータセキュリティやデータベースのプライバシーの分野では監査の長い歴史がありますが、アルゴリズム監査という考え方は比較的新しく、依然として曖昧に定義されたままです、[1]ものの、研究は進行中です。正式な定義がないため、アルゴリズム監査の範囲内で行える判断は数多く存在します。アルゴリズムシステムのベンダーは、多数の異なるモデルを[2]使用している場合があり、そのため監査人は、1つのモデル、同じ種類の複数のモデル、あるいは全部または一部のモデルの種類からランダムに抽出したサンプルを検討することがあります。監査人は、独自の統計検定を実施するために企業のデータに直接アクセスすることもあれば、被監査企業が提供する統計値を要請して受け取ることもあります。また、監査人がアルゴリズムモデルそのものを直接確認し、その特徴を調べたり新たな利用事例を試したりすることもあります。さらに、監査人は結論を全面的に公開することも、一部を公開することも、あるいはクライアント企業にのみ結果を提供することもあります。
こうした選択によって、監査の効果が非公開の内省にとどまるか、意味のある公的な説明責任となるか、あるいは広報上の演出になるかが決まります。この分野の最近の事例は、起こり得る結果のいくつかを示しています。
HireVueはORCAAと契約し、同社の評価の一つについて非常に限定的な監査を実施し、他のモデリング手法に関する提案を行うことを依頼しました。そのORCAA監査は、HireVueの求職者向け評価の一つに関する文書のみを検討しました。それらの文書に基づき、OCRAA監査は、当該評価が差別禁止に関する法的基準を満たしていると判断しました。ORCAA監査の残りの部分は、HireVueの改善策を特定するための、HireVueのスタッフと外部の利害関係者との対話で構成されていました。この監査はHireVueのデータを独自に分析したり、そのモデルを直接評価したりはせず、代わりにアプローチの改善方法について議論しました。監査報告書が指摘しているように、この監査はHireVueのモデルを代表するものではなく、偏った結果を示す可能性が最も高いモデルの種類を評価したものでもありませんでした。さらに、HireVueはプレスリリースで監査の内容を誤って伝え、監査を秘密保持契約の下に置きました。この監査は、HireVueがプロセス改善の方法を検討する助けにはなったと考えられますが、HireVueが認めた公開性や説明責任は非常に限られていました。
最近の監査は、Pymetricsとノースイースタン大学の独立研究者が共同で実施したもので、Pymetricsが提供した文書、データ、ソースコードを分析しており、はるかに綿密です。監査人は、評価の内容をPymetricsに知らせることなく、7つの異なるモデルを検討しました。そのうちいくつかは、最近のクライアントから無作為に選ばれたものでした。監査では、Pymetricsの評価を受けた従業員や候補者の代表的なデータを用いたほか、モデリングコードのストレステストのために合成データも生成しました。監査によって、モデリングプロセスが差別禁止に関する法的基準を満たしていることは確認されましたが、最終的なモデルの具体的な偏りの統計は開示されませんでした。独自のソースコード、データ、文書は秘密保持契約の下に置かれたままですが、監査人は監査について公に報告する権利を保持しており、この監査は論文として有力な倫理的AIの学会で発表される予定です。監査人は独立性について詳しく検討し、その中には監査結果が出る前に助成金の形で資金を受け取ったことも含まれます。この監査は重要な限界を認めている一方で、意味のある水準の公的な透明性を可能にしています。
フォーラムは政府による責任あるAI技術の導入をどのように支援しているのか？
分析の深さと、結果として得られた透明性の水準の差は注目に値します。どちらもPymetricsおよびノースイースタン大学の研究者による監査の方が大幅に優れていました。とはいえ、両方の監査にはいくらかの利点があります。HireVueの監査は、完全に非公開の内省よりもわずかに高い透明性をもたらし、アルゴリズムのプロセスに他の変更をもたらしていた可能性もあります。別の例として、Amazonが履歴書分析ツールに女性の求職者に対する偏りがあることを発見し、最終的にそのシステムを停止した事例を考えてみてください。Amazonはこれを公表せず、この問題が明らかになったのは数年後になってから、ロイターの調査報道記者によってでした。透明性とは別に、こうした初期のアルゴリズム監査は、社内にこうしたテーマの専門知識がない小規模なベンダーが、どのようにアルゴリズムサービスを評価し改善しうるかを示しています。
アルゴリズム監査のインセンティブ
アルゴリズム監査は、雇用における偏ったアルゴリズムの利用を自動的に防ぐものではありません。監査という考え方は説明責任と結びついていますが、監査は自動的に説明責任を生み出すわけではありません。アルゴリズム採用の開発者が、アルゴリズム監査人と契約する場合、その監査人はクライアントに対してサービスを提供しており、そのサービスに監査人はしばしば財務的に依存しています。この財務上の依存は、監査が持つ公的な価値を根本から損なうことがあります。監査会社は公的な評判や高い専門職基準の維持に関心を持つかもしれませんが、サービスを売る必要性が最も重要な要素となり、最終的にどの監査人が生き残り、どの監査人が淘汰されるかを決めることになるでしょう。ORCAAとノースイースタン大学の研究者はいずれも監査の業務に対して報酬を受け取っていましたが、より綿密な監査は、他の財源を持つ学術研究者によって行われた一方、より簡素な監査は、直接的な財務上の依存関係を持つ企業によって行われたという点は重要です。これは、企業が包括的な監査を選び、実施するように導くインセンティブや、監査人が堅牢で批判的な監査を実施するためのインセンティブについて検討することを促します。
「監査という考え方は説明責任と結びついていますが、監査は自動的に説明責任を生み出すわけではありません。」
この点について、財務会計からは重要な教訓を得ることができます。財務会計では、アルゴリズム監査との関連で特に注目すべき三つの潜在的な仕組みがあります。それは、監査を検証する政府の執行、厳密で徹底した監査を求める市場のインセンティブ、そして個々の監査人に高い基準を課す職業規範です。残念ながら、これらはいずれもアルゴリズム監査においてほぼ欠けていますが、財務会計と類似の方法で実現することは可能です。
まず、市場のインセンティブについて考えてみましょう。財務監査会社のクライアントが、破綻する直前まで健全な貸借対照表を公表し続けた場合、その監査人は重要な信頼を失います。例えば、Ernst & Youngが、20億ドル相当の疑惑のある不正をクライアントのWirecardから見逃したことで被った評判上の損害を考えてみてください。Ernst & Youngがそうした批判を受けているのは良いことです。他の財務監査会社も注意を払い、同様の過ちを避けるようになるからです。財務監査会社は、公表される財務諸表だけでなく、不正を防ぐ内部統制や手続きも検証しています。つまり、株主や誠実な経営陣には有能な監査人を雇う十分な理由があり、財務監査人は監査人の質の評価で優れようと積極的に競争しています。しかし、アルゴリズム監査には同様のものが存在しません。アルゴリズムによる被害は個別化されやすく、特定が困難であるためです。アルゴリズムが差別的であっても企業が倒産することはなく、差別の証拠が公に示された場合でも、それに見合った結果を負うかは明確ではありません。
専門的な監査サービスの厳密さを確保するために、職業上の基準や実務規範も用いられています。財務会計では、民間組織である財務会計基準審議会が、共通の原則である一般に認められた監査基準（GAAS）を定めており、これは財務会計を独立した組織がどのように監査すべきかを詳述しています。重要なのは、GAASが監査内で行える判断の数を制約していることです。依然としてある程度の柔軟性や操作の余地は残っていますが、これらの基準により、監査が徹底して行われたかどうかをより一貫して評価できるようになっています。また、アルゴリズム会計には同等の指針がなく、そのことが、HireVueとPymetricsの監査の深さの大きな違いを部分的に説明しています。実際、明確な基準が策定されていれば、HireVueの分析は監査としての要件すら満たさず、むしろケーススタディやレビューと定義されたかもしれません。
政府は財務会計の監督において、二つの重要な方法で役割を果たしています。第一に、会計士は責任を負います、財務不正に故意に関与したり、過失によってそれを可能にしたりした場合には、不正を行った企業と同様に責任を負います。GAASの基準におけるベストプラクティスから逸脱した監査人は、不正を許したとしてクライアントやその投資家、債権者から訴えられた場合、その行為が誠実かつ相応の注意を払ったものであったと弁明することがより困難になります。改めて言えば、アルゴリズム会計には民事責任が確立されていません。ある企業が監査人により差別的影響がないと認められた後、そのアルゴリズムにおける差別で訴えられて敗訴した場合でも、監査人はその責任を共有しないでしょう、契約に明示的に規定されていない限り。このような事態もまた起こりにくいのは、訴訟においてアルゴリズムによる差別を立証することが非常に困難でありうるためです。原告は、自らの事案だけでなく、多数の求職者の採用データへの幅広いアクセスを得る必要があることが多いからです。
「民事責任を超えて、政府による直接の監督は、監査の誠実さを保つための仕組みになり得ます。」
民事責任を超えて、政府による直接の監督は監査の誠実さを保つための仕組みになり得ます。金融分野では、Public Company Accounting Oversight Board（PCAOB）と呼ばれる非営利団体がこの役割を担っています。しかし実際には、PCAOBは監督権限を広く行使してはおらず、市場への影響は不透明です。税務会計は、政府の監督の役割をより明確に示しています。特定の税務会計士のクライアントが内国歳入庁（IRS）から定期的に罰金を科されれば、潜在的な顧客は他を選ぶようになるでしょう。しかし、アルゴリズム監査には、IRSの監査やPCAOBの監督に明確に相当するものもありません。[3]
残念ながら、アルゴリズムによる採用システムにはこうした検証の仕組みがいずれも存在しないため、違法または非倫理的な行為をアルゴリズムに組み込むことは、事実上その行為を精査から遮断してしまう可能性があります。しかし、この状況を改善するための明確な変更は可能です。アルゴリズム監査を構成するものについて具体的で堅牢な定義を作り、その上で、執行の仕組みとして政府による監督と民事責任を可能にすれば、いずれも現状を大きく改善するでしょう。
アルゴリズム監査の定義
雇用システムにおける偏りに関するアルゴリズム監査に何を含めるべきかを定義することは、将来のより厳密な監査を促し、完了した監査を比較するための基準を提供し得ます。もちろん、これは単一の分析論文でなしえる作業ではありません。この作業には、この分野の専門家による多様な貢献と企業の賛同が必要であり、例えば職業基準を定める組織を通じて、コミュニティによる取り組みが求められるでしょう。さらに、多くの検討事項は、個々のモデリング用途やその導入方法に固有のものとなります。しかし、多くの場合に当てはまる重要な基準もいくつかあります。これらは、そうした基準の出発点となり、そのような基準が存在する前に実施された任意の監査の質を評価する助けになり得ます。
監査プロセスに関する考慮事項
監査人の独立性：アルゴリズム監査では、監査人の結果の独立性を維持するよう、意図的に契約を構成すべきである。監査人は、監査結果の公表および周知において完全な独立性を保つべきであり、独占的情報に関する具体的かつ限定的な例外のみを、事前に合意した上で認めるべきである。監査人は、調査プロセスの詳細を被監査企業に開示してはならない。さらに、監査報酬は監査結果の引き渡し前に支払われるべきであり、監査人は当該企業との間で他の金銭的関係を持ってはならない。[4]
代表性分析：アルゴリズム監査では、アルゴリズム型雇用ベンダーのすべての顧客について、導入されたすべてのモデルを精査する必要はないが、公正なプロセスが実施されていることを確認するのに十分な数のモデルを精査する必要がある。これは単純に全モデルからの無作為抽出で足りる場合もあるが、層化無作為抽出が適切な場合もある。層化無作為抽出では、監査人はモデルの種類（例：ゲーム形式と自由記述形式の質問に基づくモデル）や職種（例：営業職と顧客サービス担当者向けのモデル）ごとに無作為標本を抽出することができる。
データ、コード、モデルへのアクセス：アルゴリズム監査では、これらのシステムを直接評価するため、データ、コード、学習済みモデルのいずれか、またはその組み合わせへの無制限のアクセスを確保しなければならない。これは、対象企業が将来の監査のために、導入済みモデルおよび関連データを保存しておく必要があることを意味する。多くの場合、モデルの学習に用いられうるため、データおよびソースコードの代表的なサンプルで十分であるが、導入済みモデルを精査することはより徹底的なアプローチとなる。特に、独自のデータ、コード、モデルを公開する必要はない。公開はプライバシーリスクや被監査企業への不当な競争上の不利益を生じさせるためである。
敵対的行為を考慮する：監査人は、一般的に被監査企業の善意を前提としてはならない。可能な限り、提供されたデータ、コード、モデルに改ざんがないかを精査し、提供された情報を検証するための他の手段も検討すべきである。
モデリングの依存関係と文書化
データ収集プロセス：アルゴリズム監査では、データ収集および整備のプロセスを積極的に検討すべきであり、特に、観測値の除外、外れ値のトップコーディング、カテゴリ変数の統合、欠損データの補完、およびそれらがモデルの学習と結果に及ぼしうる影響を含めて検討すべきである。
学習データの代表性：機械学習モデルの学習に用いられるデータセットは、人口統計データが入手可能な範囲で、代表性について評価されるべきである。例えば、一部の雇用アルゴリズムでは、学習データが応募者の多様性を備えるだけでなく、さまざまなサブグループにおける採用成功例を十分に含むことが重要となる。
依存関係の分析：アルゴリズム監査では、被監査企業のアルゴリズムシステムが基盤とするソフトウェアパッケージおよびライブラリの影響を検討し、報告すべきである。アルゴリズム型採用システムに使用される、またはそれに適合させられた事前学習済み機械学習モデル、特に顔分析、音声分析、音声文字起こし、言語翻訳、自然言語処理に関するものについては、下流への影響を慎重に検討すべきである。
文書の精査：アルゴリズム監査では、モデルの文書を精査し、その文書がモデルの機能を正確に伝えていることを確認すべきである。これは特に次の2つの場面で重要である。（1）クライアント企業がモデルまたはモデルの出力を受け取る場合。クライアントによるモデル出力の解釈は極めて重要であり、それ自体が「偏った結果につながりうる」ためである。（2）広告上の主張やモデルカード偏った結果につながりうる、データ栄養ラベルなどの公的報告における主張。モデルカードやデータ栄養ラベル。
モデルの精査
候補者ランキング：アルゴリズム監査では、アルゴリズムシステムが生成する求職者のランキングおよび関連スコアを綿密に精査すべきである。これらのスコアは、次の採用段階に進む者を一般的に決定するため、最も重要な関心対象の結果である。したがって、監査人がアルゴリズムプロセスが新規の求職者に対してどのようにランキングを生成するかを評価し、サブグループ間の選抜率および関連する統計的指標を精査することが極めて重要である。これらの一部はAudit-AIパッケージなどのオープンソースで利用可能である。監査人は、システムが「Audit-AIパッケージ」などの法的基準を満たしているかどうかを単に測定するだけでなく、より具体的であるべきであり、テストしたモデルを代表する具体的な統計値を報告すべきである。実質的に異なる選抜率」
過去データに基づく性能：アルゴリズム監査では、学習済みモデルがモデル開発に用いられたデータでどのような性能を示したかについても検討すべきである。これは候補者ランキングのみを見ることとは異なる。モデルのスコアは、比較できるためである。監査では関連する公正性指標を報告すべきであり、AequitasやAI Fairness 360などのツールを参照することができる。例えば、機会均等の指標が非常に関連性が高い場合がある。これらの統計は、モデルが異なるサブグループ間で、採用に成功した従業員に対して公正なスコアを与えているかどうかを測定する。すべてのモデルが完全に公正に機能できるとは限らないが、アルゴリズムシステム間の比較を可能にするため、これらの結果を報告する価値はある。
サブグループに関する考慮事項：アルゴリズム監査では、特に保護属性に関して、サブグループを示す変数の関連性についてモデルを精査すべきである。監査では、サブグループがモデルへの入力として含まれているかどうか、または他の含まれる変数がそれらのサブグループの代理変数となっているかどうかを精査すべきである。さらに監査では、交差性（例：性別と人種の重なり（性別と人種の重なり））を考慮しつつ、法律で求められる範囲を超えたサブグループや、可能な場合には下位人種集団（例：中東系と白人の区別）も精査すべきである。
仮想データ：監査人は、モデル構築プロセスのストレステストのために合成データを生成することができる。このプロセスでは、問題のある学習を受けたモデルを、自動化された監視または人間が関与する監視が検出できるかどうかを確認できる。さらに、モデルの学習に用いられたデータの分布外に位置する個人に何が起こりうるかを検証するためにも役立ち、これは特に障害のある人々について当てはまる可能性がある。
問題の定義：アルゴリズム監査では、選択された成果変数と、それがどのようにバイアスを生じさせうるかを慎重に検討すべきである。従業員の成功を示唆する多くの指標は、職場文化に根付いた優遇措置によって部分的に左右されうる。例えば、営業担当者の総売上高は、従業員としての資質よりも、受け取る見込み顧客の質によって大きく左右される可能性がある。この場合、モデルの成果変数は関心対象の資質と乖離しており、それがしばしば偏った結果につながる可能性があり、監査人は代替指標を提案することがある。
頻度：アルゴリズム監査では、モデルが時間とともにどのように更新されるか、そしてそれがモデルドリフト、特に性能劣化の可能性にどう影響するかを検討すべきである。この検討により、モデル監査をどの程度の頻度で実施する必要があるかについての勧告が導かれるべきである。
これらの基準は、より広範な議論の出発点として意図されている。これらはすべての状況に適用されるとは限らず、また十分とも限らないため、追加の議論と投資が必要である。他の分析で指摘されているように、技術的な実装を超えて、利害関係者ニーズのより広範な評価へと進むことも、アルゴリズム監査にとって重要な役割となりうるが、これは法律によって強制される可能性は低い。さらに、バイアスは雇用アルゴリズムの唯一の懸念事項ではなく、監査では、モデルを候補者にとってより透明性のあるものにできるか、あるいは機密データの保護において安全性を確保できるかについても検討しうる。
連邦政府のガバナンスへの示唆
公式かつ強固なアルゴリズム監査の基準を策定することは重要な一歩であるが、それは依然として政府の監督によって裏付けられなければならない。米国では、雇用機会均等委員会（EEOC）が、この種のアルゴリズム監査を実施するために必要な具体的措置を検討すべきである。この取り組みは2016年後半に開始されたが、トランプ政権下で継続されたかどうかは明らかではない（ただしその他の関連する取り組みは行われてきた）。労働省の連邦契約遵守局も新たな規則を施行し、不偏の結果を示す説得力のある証拠を提出したアルゴリズム採用企業とのみ連邦政府が契約を締結するよう確保することができる。
「公式かつ強固なアルゴリズム監査の基準を策定することは重要な一歩であるが、それは依然として政府の監督によって裏付けられなければならない。」
以前にも主張したように、バイデン政権はこれらの課題に本格的に取り組むべきである。EEOCについては、雇用差別の申し立てに対応する際に企業データにアクセスする機関の権限の限界を検討することが含まれる。実際、10名の上院議員が最近書簡を送り、雇用アルゴリズムを開発・導入する企業を調査する能力について、EEOCに具体的に問い合わせた。これは重要な問題である。政府がこれらのアルゴリズムシステムに用いられるデータへのアクセスを得ない限り、厳密な分析はほとんど行えないからである。関係機関はまた、新たな技術的専門知識を必要とする可能性があり、EEOCが連邦政府の採用プロセスを改善するための重要な取り組みの一環として、2名のデータサイエンティストの求人を公開したことは、励みになる動きであった。重要な取り組みである。
アルゴリズム監査を実施する能力の構築に加え、EEOCはアルゴリズムシステムの普及に対応するため、既存の方針を見直し、新たなガイダンスを起草する必要がある。これには、EEOCの統一ガイドライン（従業員選抜に関するもの）における予測妥当性の考え方を再検討することが含まれる。Manish RaghavenとSolon Barocasが主張しているように、統一ガイドラインは現在、アルゴリズム開発者が、差別的な効果があるとの申し立てに対し、ツールが予測的であることを示すことで防御することを可能にしているが、それが差別的であっても同様である。これは不合理な基準である。なぜなら、これらのシステムは通常、教師あり機械学習を用いるため、定義上予測的であるからである。この規定は変更される必要があり、そうしなければ監督がほとんど、あるいは全く行われなくなる。さらに、EEOCは、アルゴリズム採用システムの監査を行う際、サブグループ間の選抜率の差異以外のより広範な指標を検討することを明確にすべきである。選抜率の差異は、差別的影響の目安として長く用いられてきた。また、規制対象企業にデータ、コード、モデルを保存することを義務付ける要件も、監査を可能にするために検討する必要がある。EEOCはまた、アルゴリズムの公正な利用を強制する仕組みとして、民事責任をより効果的に機能させる他の方法も検討すべきである。
この分野における政府介入の目的は、労働市場を完全に機能させることではなく、アルゴリズムによる従業員評価の質の下限を意味のある形で引き上げることである。企業に一貫したより高い基準を課すことで、公正なアルゴリズムの導入に時間と資金を投じる責任ある企業は、より有利に競争できるようになる一方、不誠実な企業は罰金や訴訟に直面することになる。アルゴリズム監査だけでは、濫用を防ぐには不十分である可能性が高く、他の介入も検討に値する。例えば、雇用サービスにおける顔の感情分析の全面的な禁止も検討に値する。さらに、これらの監査は、Monster、LinkedIn、Indeedなどのオンライン求人紹介プラットフォームには明確に適用されないかもしれない。労働市場におけるこれらの企業の重要性を踏まえると、そのデータを独立した研究者がアクセスできるよう開放する取り組みは、有益な一歩となりうる。
政府が意味のある規制監督を構築できれば、アルゴリズム監査はより大きな影響力を持つようになるだろう。これにより、より公正なアルゴリズムシステムへの投資に対するインセンティブが強まり、アルゴリズム採用の世界は、人間による候補者審査や時代遅れの認知能力評価に広く存在するバイアスを改善しうる。もしこれが実現すれば、EEOCはこの分野のベストプラクティスを示し、雇用主にアルゴリズム的に健全で責任ある候補者選考プロセスへの移行を促すことさえできるだろう。これらの変化により、雇用システムにおけるアルゴリズムの普及はその潜在能力を実現し、多くの個人を不利益にさらし、より広範な労働市場を損なってきた体系的なバイアスを大幅に減らすことができるだろう。
