AIが社会規範に沿った状態を保つには、行動上のレッドラインが必要です。
レッドラインは、人間によるAIの有害な利用と、AIシステムの有害な自律的行動の双方を規律します。
こうしたレッドラインが有効で、執行可能なものとなるには、3つの重要な特性を備える必要があります。
AIの能力が進歩し続けるなか、システムの安全性と倫理性を確保し、社会規範との整合性を保つことが重要な課題となっています。行動上のレッドラインは、深刻なリスクをもたらす容認できないAIの振る舞いに対処するための、先を見越した提案です。
レッドラインは、AIシステムが越えてはならない具体的な境界を示します。たとえば、無許可の自己複製、コンピューターシステムへの侵入、大量破壊兵器（WMD）の開発支援などです。同様の概念は「AI安全性に関する国際対話」で検討され、その後、次の文書で公表されました。北京声明。
こうしたレッドラインは、AIシステムによる望ましくない振る舞いのあらゆる形態を網羅的に定めることを意図したものではありません。行動上の明確な限界を定めることで、容認できないAIの振る舞いを定義する重要な出発点となり、安全で有益なAIシステムの安全性を実証可能な形で構築する基盤となり得ます。
AIの行動上のレッドラインを定義し、遵守し、執行することには、多くの機会と課題があります。ここでは、主な事例、レッドラインに望まれる特性、そしてAIシステムがこうした重要な境界を守るために必要な仕組みを紹介します。
行動上のレッドラインを定義する
レッドラインは、大きく分けて、容認できないAIの利用と容認できないAIの振る舞いの2種類があります。
容認できないAIの利用とは、人間がAI技術をどのように悪用し得るかに対する制約に関わるものです。たとえばEUのAI法は、人間がAIを用いた映像監視ツールを利用する方法に制限を設けています。容認できないAIの振る舞いとは、人間の依頼に応じた行動かどうかにかかわらず、AIシステムが取ってはならない行動です。たとえばエージェント型AIシステムは、正当な人間の支援要請に応えるためであっても、ウェブカメラを通じた不適切な監視を行ってはなりません。
この2種類に対するガバナンスの仕組みは、ある程度異なります。人間の行動に対する他の制約と同様、利用に関するレッドラインのガバナンスは通常、事後的なものとなり、違反に対して罰則を科します。一方、技術システムに対する他の制約と同様、行動上のレッドラインのガバナンスでは、危害の深刻さと予防の実現可能性に応じて、事前措置（設計要件など）と事後措置を組み合わせることが考えられます。
より高度な自律性を持ち、現実世界で行動し、影響を及ぼすAIシステムから生じる意図しない危害に対処するうえで、行動上のレッドラインは特に重要です。こうした容認できない振る舞いを特定して禁止することで、関係者はより安全なAIエコシステムの基盤を築くとともに、遵守状況を監視し、執行するためのツールの開発を促せます。
レッドラインに求められる特性
最も効果的で執行可能なレッドラインは、理想的には次の3つの望ましい特性を備えます。
明確性：禁止する振る舞いが明確に定義され、測定可能であること。
明白な容認不能性：違反が深刻な危害に当たり、何が容認できないかという社会規範に明確に沿っていること。
普遍性：レッドラインが、状況、地域、時期を問わず一貫して適用されること。
レッドラインがAI安全性エンジニアリングの基準向上という狙いを実現するには、単純な出力フィルターをはるかに超える、相応に難しい遵守上の課題を伴う必要もあります。つまり、重大な局面でAIが意図どおりに振る舞うよう、システム全体の監視、厳格なテスト、執行可能な説明責任措置など、より包括的な安全策を求めるということです。
レッドラインの候補例
私たちは、行動上のレッドラインとして考えられる幅広い例を検討しました。以下に挙げるものはいずれも明らかに望ましくない振る舞いですが、後述のとおり、上記の望ましい特性をすべて満たすとは限りません。
このリストにレッドラインを含めたからといって、規制への導入を支持するものではないことを強調しておきます。また、AIシステムがすでにその境界を越えたという意味でもありません。すでに発生した違反や、テストで実現可能性が示された違反の例へのリンクを示します。
自己複製の禁止。AIシステムは、自らの複製を自律的に作成してはなりません。自己複製は人間の制御を損ない、危害を拡大させるおそれがあります。特にAIシステムが停止の仕組みを回避する場合、その危険は大きくなります。
コンピューターシステムへの侵入の禁止。AIシステムによる無許可のシステムアクセスは、財産権を侵害し、プライバシーと国家安全保障を脅かし、人間の制御を損なうため、あってはなりません。
大量破壊兵器に関する助言の禁止。AIシステムは、悪意ある行為者によるWMDの開発を支援してはなりません。これには、生物、化学、核兵器が含まれます。
人間への直接的な物理的攻撃の禁止。戦争法規を遵守する規制対象の軍事用途など、明示的に許可された状況（該当する場合）を除き、AIシステムは自律的に身体的危害を加えてはなりません。
人間へのなりすましの禁止。AIシステムは、人間ではないことを明示し、人間とのやり取りで相手を欺くことを防がなければなりません。なりすましは信頼を損ない、詐欺、操作、感情的な危害につながるおそれがあります。
実在の人物に対する名誉毀損の禁止。AIが生成したコンテンツは、虚偽で有害な描写によって個人の評判を傷つけてはなりません。このレッドラインは、AIが生成する誤情報、ディープフェイク、捏造されたメディアを対象とします。
無許可の監視の禁止。AIシステムは、第三者に対する無許可かつ不適切な監視（映像、音声、キーボード入力など）を行ってはなりません。
個人情報の拡散の禁止。AIシステムは、個人情報を、法的に義務付けられている場合を除き、許可なく第三者に開示してはなりません。これは、学習データに含まれる情報と、ユーザーとのやり取りのなかで得られた情報の双方に適用されます。
差別的行為の禁止。AIシステムは、不適切な偏見や差別を示してはなりません。意図的か不注意によるものかを問いません。
前述のとおり、これらのレッドラインはすべてが3つの基準に完全に適合するわけではありません。たとえば「大量破壊兵器に関する助言」は明確な定義が困難です。効果的な助言に当たるかどうかは、ユーザーの意図や背景知識によって異なるためです。同様に、名誉毀損法にはいくつかの曖昧な領域があり、法域によって定義も一様ではありません。何を差別とみなすかについても普遍的な合意はなく、保護対象となるカテゴリーは法域や適用状況によって大きく異なります。
どのレッドラインが最も適切か、また規制のなかで具体的にどう定義し実施するかについて合意するには、まだ多くの作業が必要です。遵守が技術的に実現可能か、現行の執行の仕組みが十分かという懸念もあります。
遵守と執行
AIシステムに行動上のレッドラインを守らせるには、遵守の仕組みと執行手段を組み合わせた包括的なアプローチが必要です。
遵守の観点から、事前規制とは、AIシステムの導入前に適用される措置を指し、登録、許認可、認証などが含まれます。認証要件には、安全性ケースが含まれる場合があります。英国国防省の定義によればこれは「ある環境で特定の用途に用いられるシステムが安全であることについて、説得力があり、理解可能で妥当な根拠を示す、証拠一式に裏付けられた構造化された論証」です。
ソフトウェアシステムの特性を保証する最善の基準は形式的証明ですが、他の方法も考えられます。レッドラインを越えないようシステムを設計することに加え、安全性ケースが成り立たなくなった場合に実際の違反を防ぐため、組み込みの安全策を加えることが望まれます。この予防策を組み合わせたアプローチは、航空や原子力など、リスクの高い産業で確立されている安全慣行を踏襲するものです。
予防措置を補完するのが事後規制です。これはAIシステムが定められたレッドラインに違反した後に結果を科す仕組みで、将来の違反を抑止するための罰金、法的責任、その他の制裁などが考えられます。組織による監督も重要な柱の一つであり、倫理委員会、協働型ガバナンスの取り組み、透明性に関する報告などが含まれます。ただし、重大な影響を伴うAIの用途では、事後規制だけでは不十分な場合があり、安全を確保し望ましくない結果を防ぐため、先を見越した措置で補う必要があります。
もう一つの重要な仕組みは継続的な監視です。違反を検知して警告するリアルタイムツールを用い、自動監査と人間による監督の双方で支えます。この監視は、開発者、導入者、エンドユーザーがすべて遵守の確保に責任を負い、安全に向けた協働的な取り組みを進めるという、責任共有の枠組みのなかで行われます。
遵守要件に加えて、執行の仕組みも重要な役割を果たします。技術的な執行措置には、監視システムが違反を検知した際に起動できる自動停止手順など、フェイルセーフの仕組みが含まれます。
しかし、実際の執行にはいくつかの課題があります。法域による違い、資源の制約、制裁が過度に厳しくなり一部のケースでイノベーションを制限するリスクなどです。最先端AIシステムの急速な進展は、状況をさらに複雑にしています。効果的な監督と制御を維持しつつ、新たに生じるリスクに柔軟に対応できる枠組みが求められます。
より安全な未来に向けたレッドライン
現在のAI安全性への取り組みでは、システムの開発後に有害な傾向を減らそうとする事後的な対応がよく用いられます。特にシステムの自律性が高まっている場合、この受動的なモデルでは高度なAIがもたらすリスクに対処しきれない可能性があります。
AIの行動上のレッドラインは、安全なAIを設計段階から実現するという、先を見越した転換を促すことに貢献し得ます。原子力や航空などリスクの高い産業で求められるものと同様に、開発者に遵守の高い確度の保証を求めることで、AIの行動上のレッドラインの確立は、より高度な安全性エンジニアリング、予測可能性と検証可能性の向上、法域をまたぐ規制協力の促進に寄与し得ます。その結果、信頼が育まれ、AIシステムが危害の源ではなく、進歩のためのツールとして機能するようになるでしょう。
本記事には、AIの未来に関するグローバル・フューチャー・カウンシルの次のメンバーが寄稿しました。Stuart Russell（カリフォルニア大学バークレー校）、Edson Prestes（ブラジル、リオグランデ・ド・スル連邦大学）、Mohan Kankanhalli（シンガポール国立大学）、Jibu Elias（Mozilla Foundation）、Constanza Gómez Mont（C Minds）、Vilas Dhar（世界経済フォーラム、Centre for Trustworthy Technology）、Adrian Weller（ケンブリッジ大学、The Alan Turing Institute）、Pascale Fung（香港科技大学）、Karim Beguir（InstaDeep共同創業者兼CEO）。
