エリカ・コチ氏はユニセフのイノベーション責任者であり、世界経済フォーラムのグローバル・フューチャー・カウンシルも率いています。
人工知能（AI）が世界にもたらしうる機会は、たとえば、病気の治療法を発見することから、毎年何百万人もの命を奪う病気の治療法を見つけること、そして大幅な炭素排出量の削減に至るまで、日々広がっています。AIの一分野である機械学習もその一つです。機械学習では、機械が膨大なデータから学び、その知見を使って予測を行う能力を活用します。機械学習（ML）はすでに、金融包摂、市民参加、より手頃な医療をはじめ、多くの重要なシステムやサービスへの道を開いています。MLシステムは、オンラインでの活動に基づいてFacebookのニュースフィードに投稿を表示したり、採用選考で応募者を選んだりすることがあります。MLは人類が生み出した最も強力なツールの一つであり、その力を善のために活用する方法を学ぶことは、かつてないほど重要です。
世間の関心は、人類に対する人工超知能の存亡に関わる脅威（「ロボットが私たちを殺しに来る」）か、その正反対の救済の物語（「AIがあらゆる問題を解決する」）のどちらかに集まりがちです。しかし、機械が意思決定を行う際には、より差し迫っていて目立ちにくいリスクがあります。それは、構造的な偏見や差別が助長される可能性です。ML技術はすでに日々、人々の人生を大きく左右する決定を下しています。ジム・ドワイヤー氏がニューヨーク・タイムズ紙に書いたように、「アルゴリズムは、子どもたちがどの学校に通うか、ごみの収集頻度、どの警察署に最も多くの警察官を配置するか、建築基準の検査をどこで重点的に行うか、さらには教師の評価にどの指標を使うかまで決めることがある。」
差別をしないことを学ぶ
機械が、誰が重要な機会にアクセスできるかという重大な判断を下すようになるなか、差別的な結果を防ぐ必要があります。そもそも、機械学習は単なるツールです。それを賢明に使う責任は人にあります。とりわけ、企業のリーダーからシステムエンジニアまで、その発展を担う人々には大きな責任があります。つまり、事業効率を高めるだけでなく、人権を促進し、守るようにMLアプリケーションを設計し、利用しなければなりません。意思決定を自動化するためにテクノロジーを使うことは、目新しいことではありません。しかし、ML技術の特性、すなわち普及の広さ、複雑さ、閉鎖性、不透明性は、機会への不平等なアクセスに関する長年の問題を増幅させるおそれがあります。機械学習における差別的な結果は人権を損なうだけでなく、技術を利用する企業への社会的信頼を失わせる可能性もあります。こうしたリスクに対処するには、差別がMLシステムに入り込む経路を評価し、システムに差別をしないよう「学習」させる必要があります。
機械が差別を学習すると、何が起きるのか？
機械学習における差別について私たちが耳にする話の多くは、米国や欧州で起きたものです。たとえば、Googleフォトの機能が、黒人の友人2人を写した画像に誤ってゴリラとラベル付けした事件や、予測型警察活動のツールが人種的偏見を増幅させることが明らかになった事例は、メディアで大きく取り上げられ、重要な報道がなされました。世界の多くの地域、とりわけ中低所得国では、差別を防ぐための十分な予防措置を講じずにMLを意思決定に用いると、広範囲に及び、長く続き、場合によっては取り返しのつかない結果を招くおそれがあります。たとえば、次のような事例が考えられます。
インドネシアでは、経済発展が地理的な境界（ひいては民族的な境界）に沿って不均等に進んできました。高等教育へのアクセスは国内で比較的均等である一方、上位10大学はすべてジャワ島にあり、そこに通う学生の大多数もジャワ島出身です。ホワイトカラー職の採用を行う企業が、学歴などの要素に基づいて応募者を審査するMLシステムを訓練すれば、パプアなど、より貧しい島々の出身者を体系的に排除する可能性があります。
保険会社が個人の将来の健康リスクを予測する方法が、すでに存在します。メキシコは、多くの人にとって質の高い医療を受けるには民間保険しか選択肢がない国の一つです。メキシコで事業を展開する少なくとも2社の民間多国籍保険会社が、効率性と収益性を最大化するためにMLを利用しています。これは、十分な医療を公平に受ける人権に影響を及ぼす可能性があります。保険会社がMLを使って買い物履歴などのデータを分析し、リスクの高い顧客に関連するパターンを見つけて保険料を高く設定する状況を想像してみてください。最も貧しく、最も病気の人々ほど、医療サービスを受ける余裕がなくなるでしょう。保険会社が個人の将来の健康リスクを予測する方法が、すでに存在します。メキシコは、多くの人にとって質の高い医療を受けるには民間保険しか選択肢がない国の一つです。メキシコで事業を展開する少なくとも2社の民間多国籍保険会社が、効率性と収益性を最大化するためにMLを利用しています。これは、十分な医療を公平に受ける人権に影響を及ぼす可能性があります。保険会社がMLを使って買い物履歴などのデータを分析し、リスクの高い顧客に関連するパターンを見つけて保険料を高く設定する状況を想像してみてください。最も貧しく、最も病気の人々ほど、医療サービスを受ける余裕がなくなるでしょう。
公表されている詳細はほとんどありませんが、報道によると、中国は銀行、税務、職業、業績の記録から、スマートフォン、電子商取引、ソーシャルメディアの情報に至る幅広いデータを分析し、市民を採点するモデルを作成しているようです。ワシントン・ポスト紙は、これを「共産党が設計した道徳的権威を、データを使って行使しようとする試み」と表現しました。今後、公平性を考慮して設計されていないモデルを使い、不完全なデータや歴史的な偏りを含むデータから算出されたスコアに基づいて政府が行動した場合、何が起きるでしょうか。公表されている詳細はほとんどありませんが、報道によると、中国は銀行、税務、職業、業績の記録から、スマートフォン、電子商取引、ソーシャルメディアの情報に至る幅広いデータを分析し、市民を採点するモデルを作成しているようです。ワシントン・ポスト紙は、これを「共産党が設計した道徳的権威を、データを使って行使しようとする試み」と表現しました。今後、公平性を考慮して設計されていないモデルを使い、不完全なデータや歴史的な偏りを含むデータから算出されたスコアに基づいて政府が行動した場合、何が起きるでしょうか。
これらのシナリオは、機械学習が世界に大きな恩恵をもたらす一方で、考慮すべき重要なリスクもあることを示しています。差別がMLシステムに入り込む経路を注意深く検討し、企業がそれを防ぐためにできることを考える必要があります。
クラウス・シュワブ氏が著書『第四次産業革命』で論じているように、人々を第一に考え、その力を引き出し、こうした新技術は何よりも人々が人々のためにつくったツールであることを常に心に留めながら、すべての人にとって役立つ未来を共に形づくりたいのであれば、差別を防ぎ、深刻化させないよう機械学習を設計し、利用する必要があります。
