世界最大の金融見本市であるMoney2020は、毎年ラスベガスのベネチアン・ホテルで開催されている。先日の会合では、階下のカジノフロアにあるスロットマシンの騒音をよそに、暗号資産のスタートアップ企業が最新のコイン発行を売り込んでいた。一方、メインステージでは、PayPalの社長兼CEOであるダン・シュルマン氏が、世界の働く貧困層と、彼らが銀行サービスや信用にアクセスする必要性について、数千人の聴衆に向けて熱のこもった演説を行った。PayPalや他の多くの企業によれば、未来はアルゴリズムによる信用スコアリングにある。決済データやソーシャルメディアのデータを機械学習と組み合わせることで、融資の判断が下されるという。別の支持者は、その判断は「人間にはとうてい不可能なほど人を見極められる」ものだと主張している。
中国では現在、信用の管理を担っているのは、Alipayという企業である。同社は、購入商品、使用する携帯電話の機種、プレイする拡張現実ゲーム、ソーシャルメディア上の友人関係など、数千に及ぶ消費者データを用いて信用スコアを算出している。高齢者が日常的にスマートフォンを取り出し、食料品の支払いをしたり、ホームレスの人々でさえQRコードを掲示して寄付を受け付けたりする国では、利用できるデータは豊富にある。信用スコアはローンの条件を左右するだけでなく、人格全般の良否を示す指標としても機能する。中国では、信用ランクが高いことは、例えば就職の機会や、ビザ取得（欧州域内の旅行）、さらにはオンラインの出会い系サイトでのパートナー探しにも役立つ。中国の出会い系サイト百合網（Baihe.com）は、より高い露出を、信用スコアの高いユーザーに提供している。
そして、そのすべてはアルゴリズムによって決定される。
中国では、信用ランクが高いことは、例えば就職の機会やビザ取得による旅行の可能性を高めることに役立ちうる。アルゴリズムによる信用スコアリングのアプリケーションが下す判断は、従来のスコアリング手法よりもリスク予測の精度が高いとされるだけでなく、その支持者は、アルゴリズムが過去に信用へのアクセスを歪めてきた人種、性別、社会経済的な偏見に左右されないため、より公正だとも主張している。ゲームをしたり、Androidスマートフォンを所有したり、Facebookの友人が400人いたりすることが、ローン申請の成否を左右する理由は明確ではないかもしれない。しかし金融危機から10年を経た今、論理は次のように進む。数字は嘘をつかないと信じるべきだ、と。
Alipayだけではない。WePayなどの中国の競合企業に加え、サブサハラ・アフリカでは他の企業も機械学習を用いて融資判断を行っている。その一例であるBranchは、ケニアにおける携帯電話の普及を活用し、非常に人気の高いモバイル決済プラットフォーム「M-Pesa」から得たデータを用いて信用スコアを作成している。もちろん、アルゴリズムによる信用スコアリングは新興の信用市場に限られたものではない。ドイツでは、「消費者金融のためのAmazon」を目指す融資サービス企業Kreditechが、顧客が提供するFacebookデータに隠れた性格の手がかりを掘り起こすため、返済履歴などの従来の指標から離れつつある。一方、米国の企業ZestFinanceは、ビッグデータを用いて、サブプライム住宅ローン危機以降、信用格付けがおそらく回復していない顧客を標的としている。
アルゴリズムによる信用スコアリングは、世界の「銀行口座を持たない人々」を収益化したいという欲求に突き動かされている。シュルマン氏のMoney2020での演説が示唆するように、アルゴリズムによる信用スコアリングは、世界の「銀行口座を持たない人々」を収益化したいという欲求に突き動かされており、従来の金融履歴を持たないために、これまで排除されてきた数十億人の顧客を取り込もうとしている。しかし、アルゴリズムによる信用の台頭は、先進国における不安、特に金融危機の余波への対応でもある。危機後10年を経て、ビッグデータがついに、あらゆる場所で消費者信用というリスクの高い事業を支えてくれるのではないか、という期待がかすかに漂っている。その約束を信頼すべきかどうかは依然として未解決の問いであり、機械学習の不透明さを考えると、答えを出すことは難しい。
2002年、カナディアン・タイヤの幹部であるJ.P.マーティン氏は、分析に着手した。対象は前年の取引データだった。同社はスポーツ・レクリエーション用品、家庭用品、自動車用品を販売し、広く受け入れられるクレジットカードを発行していた。取引履歴を精査することで、マーティン氏は顧客の購入商品と、返済不履行に陥る可能性との相関関係を明らかにした。屋根から雪を取り除く道具や鳥の餌といった、責任ある、社会志向の購入は将来の信用力と相関し、一方で安価なブランドのエンジンオイルは、不履行の可能性が高いことを示していた。
一部の企業は、カウンセリングの料金が請求された場合に顧客の信用を制限した。うつ病や婚姻関係の不和は、将来の失業の兆候とみなされたためである。その直後、一部のクレジットカード会社は、これらおよびその他の発見を利用して顧客を精査するようになった。米国では、VisaやMasterCardが処理するすべての取引は「加盟店カテゴリー」コードで分類されている。——例えば、薬物は5122、負債・結婚・個人カウンセリングは7277、賭博・賭けは7995、デーティングおよび同伴サービスは7273。一部の企業は、カウンセリングの料金が請求された場合に顧客の信用を制限した。うつ病や婚姻関係の不和は、失業の可能性、または高額な訴訟の兆候とみなされたためである。
これらの計算は取引履歴に基づいていたが、信用スコアリングのアルゴリズムは、支払い履歴、ソーシャルメディア、人口統計、さらにはGPSデータから集約された、数千の変数からなるデータセットに対応している。ZestFinanceの特許は、決済データ、ソーシャル行動、閲覧行動、ユーザーのソーシャルネットワークの詳細、さらに「借り手のネットワーク内のすべてのメンバーまたは一部のメンバーに関する、あらゆるソーシャルグラフ情報」の利用を記述している。同様に、Branchのプライバシーポリシーには、個人データ、テキストメッセージのログ、ソーシャルメディアデータ、金融データ、そして機種、モデル、ブラウザの種類を含む端末の詳細といった要素が記載されている。これらのアプリケーションは、意思決定を行うためにこの集約データを利用するだけではない。望ましい出力に照らして結果を再帰的に分析・改良し、アルゴリズムが自ら関連性を築くことで「学習」できるシステムを構築している。ZestFinanceのCEOが最近主張したように、「すべてのデータは信用データである」のであり、アルゴリズムの仕組みはもはや、「除雪機＝良い、結婚カウンセリング＝悪い」というほど単純ではない。
アルゴリズムのブラックボックスにより、どのデータ、あるいはどのデータの組み合わせが重要になるかは、誰一人として本当には把握できない。企業は一般に、意思決定プロセスを改善・更新するためにどのデータを入力しているかについては率直に開示しているが、アルゴリズムのブラックボックスにより、どのデータ、あるいはどのデータの組み合わせが重要になるかは、誰一人として本当には把握できない。たとえば、英国ランカスター大学の研究者ジョー・デヴィルは、試行錯誤の末、携帯電話の画面解像度を変更するだけで、一部のアルゴリズム型融資業者からのスコアが異なるように見えることを発見した。また、充電を頻繁に行うといった、一見不可解な行動が、より有利な結果をもたらす可能性があると指摘する者もいる。一方、Branchの最高経営責任者は、同社の機械学習アルゴリズムを「空の上のロボット」（利用者が良い子か悪い子かに基づいて融資判断を下す、一種のAIの妖精）として、どこか気まぐれに語っている。ブラックボックスから導き出された数字に不満があっても、それを変更したり異議を申し立てたりできることはほとんどない。
アルゴリズムによる信用スコアは未来的に思えるかもしれないが、これらの慣行は昔の信用スコアリングの慣行に根ざしている。例えば初期の信用調査機関は、顧客の信用履歴を調べるために人間の調査員を雇っていた。報告書は主に地域の噂話から作成され、大部分が白人男性で中産階級の調査員の憶測によって色づけられていた。人種や階級についての発言、家事に関する余談、性的指向についての憶測などが数多く見られた。ニューヨーク州バッファローのある信用調査員は、「すべてのユダヤ人との大口取引には慎重さが求められる」と記し、ジョージア州の調査員は、調査対象の酒屋を「低級な黒人の店」と表現した。同様に、1899年に設立された小売信用会社（現在のEquifax）は、ウェルカム・ワゴンの担当者が収集した情報を利用して、その後60年間にわたり数百万人のアメリカ人のファイルを編纂した。
1935年までに、米国のまとまった地域全体が、その信用特性によって分類されていた。その年の地図は、大アトランタ地域を青（望ましい）、黄（明らかに衰退中）、赤（危険）の色調で色分けして示している。この凡例は、個人の住宅ローン取得の可能性が地理的な位置によって左右されていた時代を物語っている。危険とされた地区は、しばしば貧困層が多く、あるいは人種的・民族的少数派が大半を占めていた。今日「レッドライニング」として知られるこの評価の慣行は、移動性を低下させ、アフリカ系アメリカ人家族が白人が多数を占める地区に移り住むのを防ぐ手段として機能した。
1970年の公正信用報告法と1974年の平等信用機会法は、こうした差別的慣行を是正しようとする試みであった。今日、あるいはフィンテックの語りによれば、我々は、信用力のある個人を探す際に、性別、階級、民族に対して知覚的に盲目な、詳細で偏りのないスコアリング・アルゴリズムを手にしているという。しかし、増えつつある 研究によると、アルゴリズムが分類し意思決定を行う方法は、この歴史的な排除の地理を反映していることが明らかになりつつある。アルゴリズムによる意思決定の社会的、経済的、政治的影響を研究するキャシー・オニール氏やフランク・パスクアーレ氏などの学者は、新たに現れつつある「ウェブリング（weblining）」の慣行を指摘しており、アルゴリズムによるスコアが、同じ古い信用の階級や不平等を再生産していると述べている。これらのシステムは既存のデータセットから学習するため、既存の偏りが、機械が何を良い、悪い、通常、信用に足るとみなすかを形作ることがしばしばある。
アルゴリズムが分類し意思決定を行う方法が、歴史的な排除の地理を反映していることを示す研究が増えている。こうしたシステムは急速に標準になりつつある。中国政府は現在、14億人の国民を対象に、オンラインデータを用いて信頼性を評価する指標である、独自のアルゴリズムによる「社会信用システム」の開始に近づいている。こうしたシステムが普及し、スコアが個人の価値を表すようになり、金融、サービス、基本的な自由へのアクセスを決定するようになるにつれ、一度の誤った判断の代償はいっそう大きくなる。そもそもこうしたアルゴリズム的な代理指標を用いることの正当性については、言うまでもない。
これらのシステムにおいてより高い透明性を求めることは一見当然に思えるかもしれないが、機械学習と膨大なデータセットを扱う場合、偏りを見つけることは極めて困難である。たとえブラックボックスの中を覗けたとしても、おそらくコード内の条項で、貧困層、有色人種、あるいはゲームをやりすぎる人々を差別するようシステムに指示するものは見つからないだろう。これらのスコアがどのように算出されるかを理解することよりも重要なのは、ユーザーに、アルゴリズムによって自分に下された不利な判断に対して異議を申し立て、争う意味のある機会を与えることである。
そうして初めて、これらのシステムが、信用に値する者に本当に信用を与えているのかを見極められるのかもしれない。
