人工超知能の発明は、少なくとも19世紀以降、SFの中心的なテーマであり続けてきた。E.M.フォースターの短編小説『機械が止まる』（1909年）から、近年のHBOのテレビシリーズ『ウエストワールド』に至るまで、作家たちはこの可能性を一貫して壊滅的な災厄として描いてきた。しかし、この問題はもはや単なるフィクションではない。著名な現代の科学者や技術者も、超AIがいつの日か人間の知能を凌駕し（「特異点」として知られる出来事）、人類にとっての「最大の過ち」となることを懸念するようになっている。
現在の動向からは、我々が次のような技術をめぐる国際的な軍拡競争に突入しようとしていることが示唆される。最初に超AIの発明に成功したハイテク企業や政府の研究所は、世界を支配し得る技術を手にすることになる。これは総取りの賞品である。そのため、このような事態を阻止したい人々にとっての問いは、この種の軍拡競争をいかに抑制するか、あるいは少なくとも競合するチームがAIの安全性を軽視しないよう誘因を与えるにはどうすればよいか、ということになる。
哲学者のニック・ボストロムやその他の論者が指摘するように、超AIは開発者に二つの根本的な課題を突きつける。一つ目は制御問題であり、超AIが人類と同じ目的を持つようにいかに確保するかという問題である。これが果たされなければ、この知能は意図的に、あるいは過失や無関心によって人類を破滅させかねず、それは「AIの災害」となる。
二つ目は政治的な問題であり、超知能がもたらす恩恵が一握りのエリートだけに集中せず、大規模な社会的・経済的格差を生むことのないよう確保するにはどうすればよいか、という問題である。超AIをめぐる軍拡競争が起これば、競合する集団は技術をより速く開発するために、これらの問題を無視するようになりかねない。その結果、低品質で好ましくない超AIが生まれる恐れがある。
提案されている解決策の一つは、公共政策を用いて競争への参入を困難にし、競合集団の数を減らすとともに、参入した集団の能力を高めるというものである。競争する者が少なければ少ないほど、勝つために手抜きをする圧力は弱まる。しかし、政府はどうすれば、こうした形で競争を緩和できるのだろうか。
私の同僚であるニコラ・ディミトリと私は最近、この問いに答えようとした論文を発表した。まず我々は、超AIの初めての開発をめぐるような典型的な総取り型の競争では、最も競争力のあるチームだけが参加することを示した。これは、超AIを実際に発明できる確率が非常に低く、研究開発に必要な多額の投資のために競争への参加コストが極めて高いからである。
実際、これは、より単純な「特化型」AIの開発における現在の状況とも一致しているように思われる。特許出願は、この種のAIについてはごく少数の企業に集中しており、AI研究の大部分は三つの地域（米国、中国、欧州）でのみ行われている。さらに、現時点で超AIの開発に投資している集団は、たとえあったとしても、ごくわずかしかないように思われる。
このことから、競合集団の数を減らすことは、現時点で最も重要な優先課題ではないことが示唆される。しかし、競争に参加する競合者の数が少なくなったとしても、競争の激しさは依然として前述の問題を引き起こしかねない。そのため、超AIの構築を目指す集団同士の競争の激しさを緩和し、それぞれの能力を高めるためには、政府は公共調達と税制に頼ることができる。
公共調達とは、政府が民間企業に提供の対価として支払うあらゆるもの（政府機関で使用されるソフトウェアから、サービス運営のための契約に至るまで）を指す。政府は、超AIの供給者に対して、潜在的な問題に対処することを求める制約を課すことができ、人間の知能を強化し、それをAIと統合するための補完的な技術を支援することもできる。
しかし政府は、最善とは言えないバージョンの超AIを購入する提案を行うこともできる。これにより、軍拡競争において事実上の「second prize（次善の賞）」が生まれ、競争が総取り型になることを防ぐことができる。超AIそのものではないが、それに近いものを発明した場合に与えられる中間的な賞があれば、競合する集団は投資と協力をより一層行う動機を得て、競争の激しさが和らぐだろう。次善の賞はまた、失敗のリスクを低減し、より多くの投資を正当化することにもつながり、競合するチームの能力向上にも寄与する。
税制について言えば、政府は超AIを発明した集団に対する税率を、そのAIがどれほど好ましいか、あるいは好ましくないかに応じて設定することができる。十分に高い税率は、事実上、超AIの国有化を意味する。これにより、製品を国家に奪われることを恐れて民間企業が手抜きをすることを強く抑制できる。
民間の独占ではなく公共財
この考えには、超AIに関する税制と規制について、より良好な国際的な協調が必要となるかもしれない。しかし、すべての政府が関与する必要はないだろう。理論上は、単一の国や地域（EUなど）が、超AIの問題や倫理に取り組むためのコストと労力を負担することができる。しかし、すべての国がその恩恵を受け、超AIは止めることのできない民間の独占ではなく、公共財となるだろう。単一の国または地域
もちろん、これらすべては超AIが実際に人類への脅威であることを前提としている。そして、そうではないと考える科学者もいる。我々は時間の経過とともに、超AIのリスクを自然に技術的に取り除いていくかもしれない。さらには、人間がAIと融合すると考える者もいる。
いずれにせよ、我々がAIから最大限の恩恵を得られるようにすることは、地球と地球上の人々にとって計り知れない利益となるだろう。その技術は、まだ黎明期にある。そのためには、政府が果たし得る役割をより深く理解することが必要である。
