伝説によれば、16世紀に、プラハの精神的指導者の妻が、都市の水不足を解消するために、粘土で作られた魔法の生き物――ゴーレム――を呼び出しました。彼女はゴーレムに水を運ぶよう命じましたが、その後、生き物を止めるよう伝えることを忘れてしまいました。プラハは必要な水をすべて手に入れ、さらに余分なほどでした。その結果生じた洪水が都市を水没させ、多くの人々が命を落としました。
現在、私たちは独自の魔法の創造物を持っています。それはAIアルゴリズムと呼ばれる数学的な公式です。賢明に使えば、これらのデータに基づく意思決定エンジンは、多くの困難なビジネス課題を解決できます。無知に使えば、これらのエンジンは大混乱を引き起こし、財務上および評判上の両方の損害をもたらしかねない狭い行動の選択肢で企業をあふれさせることがあります。
意思決定プロセスの一環としてAIを現在導入している、あるいは導入を計画している企業は、これらのデジタルゴーレムを賢明に使いこなすことを学ばなければならず、さもなければ代償を払うことになります。
AIは止めようのない力である
誤解のないように言えば、世界中の多くの企業にとって、AIは成熟期を迎えつつあります。 最近のMIT／BCGの調査では 国際的に、調査対象企業の20%がAIの大規模展開を始めており、AIチームは十分な人員が配置され、AIエンジンは完全に産業化されつつあることが分かりました。調査は、AIのリーダー企業のこの少数のグループが、AIの自己学習機能を活用して先行差をさらに広げ続けることができると結論づけています。したがって、出遅れている企業（および国全体）にとっての課題は、この格差が克服不可能になる前に埋めることです。
残念ながら、「ブルートフォース」的なAI導入によってリーダー企業に追いつこうとする近視眼的な経営陣は、より劇的な失敗を招くリスクがあります。
AIを活用した意思決定モデルは、利益率の最適化、在庫の最小化、あるいはその他の多数のビジネス目標の達成など、目的関数の最大化を目指して設計されています。しかし、心も魂も持たないこれらのアルゴリズムは、数字だけに基づいて意思決定を行うため、時に深刻な結果を招くことがあります。
監視されないAIが現実世界にもたらす影響
これは数学者、データサイエンティスト、プログラマーが一室にこもって争うような不明瞭な問題だとお考えかもしれません。そこで、人間の知見ではなくAIによって決定されたビジネス判断がもたらした、現実世界における3つの結果をご覧ください。
⦁ 複数の小売業者が、短期的な利益率を最大化するために価格を管理するよう設計されたアルゴリズムに陥りました。これらのアルゴリズムは、個々の小売店舗の価格感応度を評価するよう設計されていました。製品の需要が価格上昇の影響をあまり受けなかった店舗は、一連の値上げの格好の対象とみなされました。
唯一の問題は、アルゴリズムが選んだ店舗が貧困地域にあったことでした。企業が最も貧しい顧客に対して値上げを行っているという情報が広まると、メディアからの反発は厳しいものでした。各社はすぐに値上げを撤回しましたが、その時点ではすでに評判に打撃を受けていました。もし各社がAIの意思決定に対する人間によるレビューを含むプロセスを導入していたならば、この広報上の悪夢は回避できていたかもしれません。
⦁ あるファッション小売業者が作成したAIエンジンは、特定の顧客が最も肯定的に反応しやすい商品を特定するよう設計されていました。完全に偏りのないアルゴリズムであっても、このAIエンジンは特定の民族のファッションを特定の民族集団の人々に無批判に押し付けていることが、同社によって判明しました。小売業者にとってのリスクは、このような選定がステレオタイプを助長しているように見えかねないことです。そして、小売業者がこれを防ぐためにアルゴリズムをハードコーディングした場合、それは単により巧妙なステレオタイプの形ではないのか、という問題があります。
⦁ ある医療保険会社は、個々の顧客の治療経過に関するAI分析に基づき、入院の可能性が高い顧客に特別なサービスを提供するプログラムを開始しました。同社が選ばれた顧客にこれらのサービスを初めて提案し始めたとき、コールセンターのスタッフは、一部の患者が自分たちが実際に入院治療を必要とする可能性が高いことをまだ知らなかったことに気づきました。AIエンジンの導入が十分に慎重でなかったため、保険会社のスタッフは、顧客が必要になるとは知らなかった入院サービスをなぜ提案されているのかを説明しなければならないという気まずい立場に立たされました。
監視されない計算への解毒剤としての常識
リーダーは、チームの目標を設定することに慣れています。これらの目標は、より高次で抽象的なレベルでは、現実世界の状況を考慮しない目的の形をとることがよくあります。幸いなことに、チームメンバーは通常、常識、ビジネス倫理、道徳的価値観を用いて目標に到達する方法を経験から知っています。
例えば、より大きな目標を理解しながらも、「この顧客にこの割引を適用してはいけないと分かっているが、そうしなければ顧客を失ってしまう」と考える従業員や、「この高齢者も他の人々と同じように列に並ばせるべきだが、列の前に通すことにしよう」と考える、あるいは「支払いをせずに人を帰してはいけないが、この状況では時間を与えた方がビジネス上合理的だ」と分かっている従業員を思い浮かべてください。
アルゴリズムの問題点は、こうした種類の「ビジネスセンス」を一切持ち合わせていないことです。現実世界の経験、常識、道徳的原則を欠いた機械にすぎません。これらの重要な特性を欠いているため、AIは現実世界の曖昧さに合わせて意思決定を調整することができません。制約なしに放置されたアルゴリズムは、何百万もの不適切な意思決定を次々と生み出すことが十分に可能であり、文字通り光の速さでそれを行い、一つひとつの意思決定が企業の収益性と評判にリスクをもたらします。
念のために明確にしておくと、私は法を破ったり有害なイデオロギーを広めたりすることを目的とする人々が開発したアルゴリズムについて話しているのではありません。最善の意図を持つチームによって呼び出された数学的な生き物について話しているのです。
新しいCEOをご紹介します（「e」は倫理（Ethics）の頭文字）
企業は、思慮も感情もないAIの意思決定がもたらすリスクを回避するために、まず予期せぬ結果を予測する方法を学ばなければなりません。そのためには、企業は「ガードレール」、すなわち、AIの指示が無批判に実行されないようにするための安全策を構築しなければなりません。このガードレールは、アルゴリズムそのものにハードコーディングすることで構築でき、特定のKPIで囲い込むことで実施することができます。
ガードレールは、比較的簡単に構築できる場合もあります。例えば、ある有名なファストフードチェーンは、常連客に個別のプロモーションを送信する高度なエンジンを開発しました。プロモーションがアルゴリズムのみに基づいていた場合、同社は意図せずに非常に多くのミール・ディールを提供してしまい、顧客の健康を害する可能性がありました。幸いにも、同社は毎週プロモーションする商品のカロリーの合計に上限を設けることで、常識を計算に取り入れました。
他の状況では、AIの意思決定を緩和するためのガードレールを構築することははるかに困難な場合があります。新たな「倫理」機能を導入し、業務管理者がAIがもたらす現実のビジネスリスクを予測できるよう訓練しなければなりません。この機能の目的は、データサイエンティストと協働し、アルゴリズムに関する単純な事実を常に念頭に置くことです。すなわち、偏りのないAIエンジンであっても現実世界のデータ（その性質上、偏りがある）に依存するため、AIに基づく情報処理は、人間に基づく処理と同様に確実に偏った意思決定につながりかねないという事実です。
倫理機能の役割は、企業を法的リスクから守るためのプロセスを構築・執行するように設計された、一般的なコンプライアンス志向の機能よりも広範でなければなりません。AI関連の倫理機能の包括的な目標は、ゴーレムのようなアルゴリズムが誤って導入された際に生じうる大失敗を回避するよう、管理者およびデータサイエンスチームを訓練することです。この機能にふさわしい重みを与えるために、企業は、もう一人のCEOがAI方針を策定し、AIガイドラインを定める際にそれを支える最高倫理責任者（Chief Ethics Officer）を任命すべきです。
主要なAI企業に追いつくための圧力を感じている企業は、アルゴリズムの設計や技術的導入といったより単純な課題を超えて考えながら、細心の注意を払ってAIを大規模に展開しなければなりません。プラハのゴーレムの事例と同様に、魔法の生き物を創り出すプロセスは、ある意味で容易な部分です。真の課題は、その生き物を真に有用なものにすることにあります。
AIの世界では、アルゴリズムのコーディングのプロセスは、必要な総リソースの約10%を占めます。アルゴリズムを既存のレガシーITシステムに導入することがさらに20%を占めます。努力の大部分――最後の70%――は、賢明なビジネス判断を生み出すために、人間的な側面とアルゴリズムを織り合わせることに関わります。この最後の70%は企業によってしばしば過小評価されていますが、それは人工知能が現実世界において実際に知的な意思決定につながることを確実にする唯一の方法です。
