各国の統計局などの組織は、人々が従来の手法や、近年ではAIツールを用いてオンラインで行う検索に役立つデータを公開している。
しかし、このデータは、たとえその結論を裏付ける証拠がない場合でも、AI検索の回答に引用される可能性がある。
出版社は、定義、制限事項、例題、そして根拠となる情報を提供することで、開発者がAIによる回答を検証するのを支援できる。
最近行われたウルグアイの公共エネルギーデータに人工知能（AI）アシスタントを接続するパイロットテストでは、システムがデータの変化を部分的に気候要因に起因するものとした。このパイロットテストの目的は、人々が自然言語で質問し、公式データセットに遡って追跡可能な回答を得られるAI検索ツールを開発することだった。しかし、 オープン・ナレッジ・ファウンデーションパイロットの報告、AIアシスタントが使用していたデータセット 気候データは含まれていませんでした 変更に関する説明を裏付けるため。
政策評価や投資計画にAIツールを使用する場合、数値だけでなく説明も重要です。引用文献は証拠を見つけるのに役立ちますが、AIツールの回答におけるすべての主張がその証拠に基づいていることを証明するものではありません。
これは、国際エネルギー機関、英国国家統計局、米国労働統計局など、研究、データ、ガイダンスを公表する組織にとって課題となります。これらの組織の成果は、重要な制約事項が省略されていたり、証拠に基づかない説明が付け加えられていたりするAIツールの回答に反映される可能性があります。アクセスしやすく引用されているだけでは、組織の知識が正しく活用されているかどうかを完全に測ることはできません。
証拠を公開する組織は、AIツールを開発・運用する企業が、それらのツールがデータをどのように利用しているかを検証するのに役立ちます。データセットや研究結果に加えて、証拠が何を裏付けているか、どのような制約が適用されるか、そしてどのような場合に追加の証拠が必要になるかを説明する注釈付きのテスト問題を公開することができます。
これにより、開発者はAIシステムが素材を忠実に再現しているかどうかを実証するための実践的なテストを行うことができ、同時に出版社やユーザーにとっても不具合を特定しやすくなる。
AIツールのコンテキストと一貫性
レポートの中に埋もれた資格情報は、レポートから表だけを抽出するAIシステムには届かない可能性があります。組織がデータセットをAIソフトウェアに提供する際には、その定義と制限事項も同じ経路で提供されるべきです。
例えば、AIツールが雇用統計を要求する場合、応答では対象となる人口と期間を明示し、その数値が暫定値であるかどうかを示し、その数値を算出するために使用された方法論へのリンクを提供する必要があります。AIツールは、散在する文書から重要な文脈を確実に再構築できない場合があります。
研究においても同様の注意が必要である。要約は研究結果を正確に報告するものであっても、その研究結果が適用される対象集団や環境を省略してしまうと、読者を誤解させる可能性がある。
統計が何を測定しているかを知っていても、それがなぜ変化したのかは必ずしも明らかになるわけではありません。定義上、発電量と発電容量は区別されますが、発電量の変化を説明するにはさらなる証拠が必要です。ある組織が統計の権威ある情報源であっても、その原因について最終的な権威を持つとは限りません。
そのため、AIツールを開発・運用する企業は、それらのツールが主張する内容を裏付ける証拠があるかどうかを確認する必要があります。さらに解釈を深める必要がある場合は、他の情報源を特定すべきです。証拠が不十分な場合は、不明な点を認めるべきです。
組織は、人々やソフトウェアに提供する情報に関して一貫性を維持する必要もあります。世界経済フォーラムとケンブリッジ・サプテック・ラボが立ち上げたイニシアチブの下、モーリシャス銀行はテクノロジープロバイダーTSOと協力して概念実証を行い、 規制情報を構造化データに変換一つのワークフローで、読みやすいガイダンス、ソフトウェアのインターフェース、PDFを公開できる。
共通の情報源を使用することで、組織はユーザーが閲覧する情報とソフトウェアが取得する情報を同時に更新できます。そうしないと、ウェブサイトの修正後も古い機械可読版が流通したままになる可能性があります。もちろん、過去の履歴を調べる際に必要となる場合に備えて、以前のバージョンは識別可能な状態で残しておくべきです。
AIが情報をどのように利用するかをテストする
組織は、広く利用されているデータセットや研究から始め、AIツールをテストするためのいくつかの例題を公開し、回答に含めるべき内容と、証拠では立証できない内容を説明する注釈を添えることができる。
組織が既に受け取っている質問は、有用な出発点となる。例えば、前述のウルグアイとブラジルでのパイロットプロジェクトでは、パートナーから寄せられたよくある質問がテストに役立ち、AIツールのガイダンスの改善に繋がったと、オープン・ナレッジ・ファウンデーションは報告している。
これらの質問は、AIツールが正しい情報を取得しているかどうかを検証するのに役立ちます。しかし、その評価は、システムが正しい数値を返すかどうかだけにとどまるべきではありません。回答に重要な制約（例えば、対象年齢層が1つしかない研究など）が含まれていないかを確認し、証拠が質問に答えられない場合はそれを明記する必要があります。
これらの例題は評価の出発点となるものですが、開発者は馴染みのない問題もテストする必要があります。
これらの質問は、組織が好む解釈に同意する必要なく、AIツールの回答が証拠に基づいているかどうかを確認するのに役立つべきである。また、回答が責任を持って追加の情報源を参照できるようにすべきである。
AIの回答に関する協力とフィードバック
世界銀行が2026年国連統計委員会向けに作成した背景資料では、以下のことが推奨されている。 協力とフィードバック 統計データの作成者、再配布者、AI開発者間の連携。テスト問題を公開することで、こうした協力関係に実践的な焦点を当てることができるだろう。
これは出版社が情報源を管理し、制約事項を説明するのに役立つだろう。また、開発者はAIシステムがどのように資料を取得・解釈しているかを評価できるようになる。エラーの診断には両者からの情報が必要となる場合がある。出版社は日付が提供されたことを確認できますが、システムが正しく取得・使用したかどうかを判断するには開発者の協力が必要になるかもしれない。
小規模な組織は、AIツールを運用するすべての企業と個別に提携関係を築く必要はない。業界団体が共同テストを実施し、地域に合った言語での問題を含めるべきだ。これらの企業は、繰り返し発生する誤解釈を報告するための明確な手順を提供する必要がある。
研究成果や証拠を公表する目的は、人々が問題を理解するのを助けることにある。AIが生成した回答がその証拠を正確に反映しているかどうかを確認することは、公表プロセスの一部となるべきである。
