オーストラリア政府が福祉受給者の薬物検査を目的に始めた新たな「データ駆動型プロファイリング」の試験から、米国の法執行機関による顔認識技術の利用、そして多くの米国の裁判所における量刑への独自ソフトウェアの導入に至るまで……ほとんど気づかれず、驚くほど大きな反発もないまま、テクノロジーは、私たちが警察に取り締まられ、市民として分類され、そしておそらく近いうちに統治される、そのあり方を変えつつあります。
いわゆるアルゴリズムによる規制――ビッグデータ、機械学習、人工知能（AI）を駆使する知的機械が人間の行動を規制し、法を執行すること――は、まだごく初期段階にあります。しかしすでに、個人と国家の関係に重大な影響を及ぼしています。
さらに、こうしたテクノロジーの台頭は、西側諸国の多くで政府への信頼が史上最低に落ち込んだ、まさにその時に起きています。先進国の多くで、有権者は既成政治家やその周囲の人々を、世間の感覚からずれた閉鎖的な世界に住む人々と見る傾向を強めており、投票を通じて不満を示しています。
技術による解決策
不安定な政治情勢のなかで、テクノロジーが別の解決策をもたらすという期待が高まっています。アルゴリズムによる規制の支持者は、人間が作った多くの法律や規制は、人間の担当者よりAIのほうが、より適切かつ迅速にリアルタイムで適用できると主張します。機械の学習能力は着実に向上し、（多くの場合スマートフォンが生み出す）増え続けるデータを選別し、解釈する能力も高まっているからです。
AIの支持者はまた、過去の傾向や人間の行動に基づいて、アルゴリズムが近いうちに、運転中の振る舞いから、市民としての責任や権利、法に従わなかった場合に科される罰まで、日常生活のあらゆる側面を形作るようになるかもしれないと指摘します。実際、それほど遠くない将来に、AIが社会問題の発生を予測して未然に防ぎながら、自律的に法律を作る世界を想像することは難しくありません。
これを民主主義の再起動と称賛する人もいるでしょう。私の見方では、これは民主主義そのものへの脅威にほかなりません。深い懐疑を持つべきです。政策の領域にアルゴリズムを持ち込むことには、主に5つの問題があります。
1）自己強化する偏り
機械学習やAI全般が（人間とは異なり）得意とするのは、何百万ものデータ点をリアルタイムで分析して傾向を見つけ、それをもとに「これが起きれば、次はあれが起きる」という類の結論を導き出すことです。そこに内在する問題は、過去に起きたことが繰り返されると仮定するため、偏りが自己強化されることです。
犯罪データを例に考えてみましょう。所得の低い黒人やマイノリティの地域は、裕福な白人の地域よりも、犯罪や反社会的行為に苦しむ可能性がはるかに高いものです。そこでアルゴリズムを使って法律を形作れば、そうした地域が集中的な警察の巡回対象となり、対立や逮捕の可能性が高まるのは避けられません。
当然ながら、これは特定地域の高い犯罪率に対するもっともな懸念を、自己成就的な予言に変えてしまいます。このように標的とされた地域に生まれた子どもは、その環境から抜け出す可能性がますます低くなります。
これはすでに起きています。2010年代初頭から米国各地で使われてきた予測型警察活動は、欠陥があり、根深い人種的偏見を助長しやすいという批判に繰り返し直面してきました。予測型警察活動が持続的に犯罪を減らせるかどうかは、まだ実証されていません。
2）攻撃に対する脆弱性
AIが形作る法律をめぐる2つ目の、同じく重要な問題はセキュリティです。米国司法省を含め、ほぼすべての大企業、政府機関、行政組織が、いずれかの時点で侵害された可能性があります。主な理由は、データを保護する点で、こうした組織がハッカーに大きく後れを取りがちなことです。控えめに言っても、政府が攻撃者からアルゴリズムを守れるとは考えにくく、アルゴリズムは「ブラックボックス」になりがちなため、改ざんされたかどうか、またいつ改ざんされたかを特定できるのかも不明です。
ドナルド・トランプの大統領選出馬を後押ししたと報じられた、民主党全国委員会へのロシアによるハッキング疑惑をめぐる最近の米国での議論は、その一例です。同様に、政府や司法の権限を機械に移すために書かれるコードは複雑になるため、ソフトウェアについて分かっていることを踏まえれば、バグだらけになるのはほぼ確実です。
3）誰が采配を振るうのか？
利益相反の問題もあります。警察活動や規制に使われるソフトウェアは、当然ながら政府ではなく民間企業が開発します。多くは大手テクノロジー多国籍企業で、すでに政府向けソフトウェアを提供しており、非常に明確な独自の利益を持つ傾向があるうえ、政府との関係が不透明なことも少なくありません。
こうした提携は、アルゴリズムの透明性についても疑問を投げかけます。人々の暮らしに影響を及ぼすことを考えれば、大きな懸念です。政府のデータがますます一般に公開される世界に私たちは生きています。これは公共の利益であり、私は強く支持しています。
しかし、このデータの無償公開から最も恩恵を受ける企業は、二重基準を示しています。政府が情報源であれば、無料でオープンなデータを強く支持する一方、自社のプログラムやデータを独占的に保有し続けるためには、徹底的に争います。
4）政府にその能力はあるのか？
さらに、デジタル分野における政府の能力の問題があります。私の経験では、政治家の大半は、テクノロジーの限界や、何ができて何ができないのかをほとんど理解していません。この分野の基本はおろか細部も把握できていないため、ソフトウェアを開発する企業を適切に規制できないのです。
バックドアと暗号化を両立させられない理由を理解できないのであれば、さらに複雑な層を持つアルゴリズムによる規制に何が必要か、思考を切り替えて捉えることも難しいでしょう。
同様に、英国政府とフランス政府が導入しつつある規制は、国家が市民のデータにアクセスできる範囲を拡大しています。これは、そうしたデータベースの構築によって生じるリスクの大きさを、政府が理解していないことを示唆します。政府の権限が大幅に行き過ぎる次のスキャンダルが起きるのは、時間の問題でしょう。
5）アルゴリズムは機微な違いを扱えない
一方、テクノロジーで解決できない意味のある問題はほとんどないというシリコンバレーの傲慢な姿勢を反映しているとも言えますが、AIによる規制の最後の問題は、あらゆる問題に最適解があると考えることです。
しかし、一見解決困難な社会問題を解決するには、忍耐と妥協、そして何よりも仲裁が必要です。カリフォルニア州の水不足を考えてみましょう。農業界と一般市民、気候変動対策として消費削減を求める人々と、地球温暖化は存亡に関わる脅威ではないと主張する人々の、相反する要求がぶつかる問題です。アルゴリズムは、こうした当事者間を本当に仲裁できるでしょうか。より大きな視点では、気候変動の最大の負担を誰が担うべきか判断できるでしょうか。そもそも問題を引き起こした先進国でしょうか。それとも、いまこそ近代化する番だと主張し、そのためにはエネルギー効率の低い状態を続ける必要がある発展途上国でしょうか。
ここで私が言いたいのは、アルゴリズムは白黒の判断は得意でも、移ろう灰色の濃淡や機微、トレードオフにはうまく対処できず、哲学的価値を比較衡量したり、苦労して得た譲歩を引き出したりするのも不得手だということです。ある種の社会を実現し運営するアルゴリズムを作ることはできるかもしれませんが、その前に、どのような社会を望むのか合意しておく必要があります。
そして、その社会が定期的に（急速に、あるいは徐々に）根本的な変化を遂げたらどうなるでしょうか。たとえば、奴隷制が広く行われ、同性愛が受け入れられず、女性に選挙権がなかった時代に作られたアルゴリズムを想像してみてください。だからこそ私たちは、過去の傾向ではなく、多くの場合は妥協を重ねて練り上げられた、有権者の多数が支持する理念に基づいて決定する政府を選ぶのです。
市民社会が取り組むべきことの多くは、私たちがどのような暮らしを望むのかについて、絶えず変化する合意を築くことです。それを知的機械に完全に委ねることはできません。
基本ルールを定める
問題は多いものの、何らかの形でAIを活用した政府が実現することはほぼ間違いありません。では、それが悪いSFのような事態になるのをどうすれば防げるでしょうか。
まず、社会が問題だと見なす事柄に従来型の解決策を当てはめるだけでなく、AIを活用して前向きな代替策を探るべきです。市民を守るために犯罪者を見つけて刑務所に送るのを速めるだけではなく、ほかに考えられる解決策がどれほど有効かをAIで調べてはどうでしょうか。若者に読み書きや計算、その他の技能を教えることは、より強硬な法執行よりも、はるかに優れた費用対効果の高い犯罪対策になり得ます。
さらに、人々が過去の経歴や遺伝子、居住地を理由に汚名を着せられないよう、AIは個人単位ではなく、常に集団単位で使うべきです。同じことは、将来の雇用主、医療保険会社、クレジットカード会社、住宅ローン提供者による、より巧妙でありながらいっそう広範なデータ駆動型の選別にも当てはまります。AIを使った分類に商業上の動機があることは明らかですが、個人を対象にすればプロファイリングとなり、社会の特定の層全体が機会から締め出されるという結果を招きます。
もちろん、すべての企業が顧客に不利益となる形でデータを使うわけではありません。2015年のハーバード・ビジネス・スクールの調査と、それを受けたAirbnbの検証により、民泊プラットフォームで黒人や少数民族の借り手に対する日常的な偏見が明らかになると、Airbnbの幹部は問題の抑制に取り組みました。しかし、プラットフォームのデータにAIアルゴリズムを非常に賢く適用していれば、差別をもっと早期に検知し、おそらく防止策も提案できたため、Airbnbは調査も検証も不要にできたはずです。この方法なら、意思決定者としての人間を置き換えるのではなく、テクノロジーを活用して人間のより良い意思決定を支援できます。
公共部門でこの方法の可能性を実現するには、政府はまず、アルゴリズム導入によって望まれる成果は何かを議論する手法を考案する必要があります。そうすれば、アルゴリズムの性能を何に照らして測るのか、正確に理解し合意できます。
第二に、ここでは政治家が知識を身につける必要がありますが、アルゴリズムを使う各事例について、その性能を示すデータをリアルタイムで絶えず流す必要があります。そうすることで、状況やニーズの変化を反映してアルゴリズムを継続的に調整できます。
第三に、AIの適用を踏まえた規制や法案の案は、法律として成立する前に、従来の人間による方法と照らして厳密に検証すべきです。
最後に、公共部門のデータを使って自社のアルゴリズムを強化または改善する営利企業は、将来の利益を政府と分け合うか、まずアルゴリズムを政府に貸与し、最終的には政府が所有する取り決めに合意すべきです。
誤解のないように言えば、アルゴリズムによる規制は確実に近づいています。しかし、政府へのAIの本格導入は、社会をより良くするという正しい目的のために、正しい方法で活用されるよう慎重に管理する必要があります。そうしなければ、意図せぬ結果が混乱を招き、最終的には民主主義そのものが危うくなるかもしれません。
