「マイ・フレンド・ケイラ」は、音声認識技術を使い、リアルタイムで子どもと会話し、交流するインターネット接続型の人形です。ケイラとの会話は録音され、音声分析企業へオンラインで送信されます。
このため、子どもが人形で遊んでいる最中に、ハッカーが子どもを盗み聞きしたり、直接やり取りしたりする可能性への懸念が生じました。子どもの音声データの利用方法についても懸念があります。2017年、ドイツの規制当局は、この人形を「違法なスパイ装置」に分類し、保護者に破棄するよう促しました。
ケイラは、子どもと「友達になる」新しい種類の人工知能（AI）おもちゃの一例にすぎません。メーカーはしばしば、これらが教育的で、遊びを豊かにし、子どもの社会性の発達を助けると主張します。しかし消費者団体は、他のインターネットに接続される「モノ」と同様に、スマートおもちゃがセキュリティとプライバシーを危険にさらす可能性があると警告しています。
以下の質疑応答では、ケイ・ファース＝バタフィールド（世界経済フォーラムの人工知能・機械学習部門責任者）が、AIおもちゃが急速に普及する世界にどう向き合うべきかを解説します。
AIおもちゃのデータはどうなるのか？
おもちゃはインターネットに接続されており（WiFiまたはBluetoothを介し、インターネットにアクセスできるスマートフォンや他の機器につながります）、データを供給元に送信します。これにより、企業のAIは企業のために学習し、子どもとより上手に会話できるようになります。
企業は、子どもがおもちゃと交わすすべての会話を記録・収集します。また、同じおもちゃと関わる他の子どもや大人との会話も収集する可能性があります。
企業はこのデータを保存している可能性が高く、より良い製品を作るために確実に利用しています。
おもちゃの所在地によって、データの保存方法が異なります。例えば米国では、教育用おもちゃを開発する企業は、他の企業よりも長期間データを保存することができます。そのため、メーカーがおもちゃを教育用と説明すると、データをより長く保持する権利が生まれます。
教育用おもちゃとして売り出される機器を含め、市場に出回る機器が増えるにつれ、プライバシー、偏り、監視、操作、民主主義、透明性、説明責任をめぐる警鐘が鳴らされています。
最も懸念すべき問題は何か？
ドイツは、ケイラや類似のおもちゃが子どもを監視するために使われたり、誰かが機器をハッキングして子どもと直接やり取りしたりする可能性があるとの懸念から、ケイラと類似のおもちゃを禁止しました。
しかし、企業がデータを収益化する問題も議論されるべきです。AIおもちゃのデータには、子どもが機器に話すすべての内容、つまり最も大切な秘密も含まれています。
そのデータが収集された場合、子どもにはそれを取り戻す権利があるのでしょうか。非常に幼い頃からのデータが収集され、子どものものではない場合、子どもの選択や行動パターンを、企業や政治キャンペーンなど、そのデータを購入した誰もが知り得ることになり、子どもがより脆弱になるのではないでしょうか。
おもちゃが使用される州のプライバシー法によっては、データが収集・保存された場合、子どもの権利に関する条約第16条（プライバシーの権利）に違反する可能性があります。（もっとも、保護者が子どもの写真をFacebookに日常的に投稿していることも、ある意味で同様の行為と言えるかもしれません）。
AIおもちゃの利点は何か？
多くの経済学者は、教育の改善と教育機会の拡大が、開発途上国と先進国の格差を縮める最善の方法の一つであると主張するでしょう。
AIを活用した教育用おもちゃや「先生」は、開発途上国に大きな恩恵をもたらす可能性があります。
しかし、ベンチャーキャピタリストで元Google中国CEOのカイフー・リー氏の見解が正しければ、これらの機器から収集されたデータは、子ども、その保護者、または暮らす国の利益になるのではなく、欧米や中国の大手AI企業によって単に利用されるだけになるでしょう。
AIおもちゃは子どもにどのような影響を与える可能性があるか？
ハッキングの危険性に加え、これらのおもちゃが子どもに何を語りかけているのかについても考える必要があります。この会話を管理するのは誰でしょうか。アルゴリズムを作成したのは誰で（意図しない偏りが入り込む可能性はないか）。子どもが触れる価値観は保護者の価値観と一致しているでしょうか。保護者は、おもちゃに組み込まれる価値観を選べるでしょうか。
おもちゃが教育用である場合、少なくとも教育の資格を持つ人がアルゴリズムを確認しているでしょうか。
子どもは常にこれらのおもちゃと会話するため、非常に大きな影響力を持つことになるでしょう。例えば、人形が寒いと言い、子どもが親にコートを買ってほしいと頼んだ場合、それは広告にあたるのでしょうか。
目に見えない友達の代わりに、話し返すおもちゃを持つことは、創造的な遊びに良くも悪くも影響するでしょうか。子どもはもう、目に見えない友達についての物語を作り出す必要がなくなります。創造的な遊びにおけるこの大きな変化は、人間としての私たちを変えてしまうのでしょうか。
データが収集されている場合、たとえ保存されていなくても、企業には、自殺念慮や自傷行為について打ち明けた子どもに対して「危険信号」を出す義務があるのでしょうか。子どもがおもちゃに虐待を受けていることを打ち明けた場合、企業は関係当局に通報するのでしょうか。また、企業はその情報をどのように扱うのでしょうか。
では、子どもを守るために私たちには何ができるのか？
保護者は、機器を購入する前に、これらの問いに答えを持っておく必要があります。少なくとも、子どもがAIおもちゃから、保護者自身の価値観と一致する価値観を学んでいるかを確認すべきです。
現状では、データがどのように扱われているかを把握する責任は消費者にありますが、企業がデータの利用方法を消費者が理解できるよう責任を負うべきだとの議論もあります。
世界経済フォーラムでは、規制当局の役割を再構築するプロジェクトを実施する予定です。現状では、問題が起きてから規制当局が罰金を科していますが、このプロジェクトでは、アルゴリズムが目的に適合しているかを認証する仕組みを目指します。
今まさに必要とされ、機動的なガバナンスの仕組みの一部であるため、これはここでの適切な規制モデルとなる可能性があります。ただし、スマートおもちゃのガバナンスにおける問題は、AIが子どもとのやり取りのたびに学習し、変化していくことです。
これはAIを活用したおもちゃが悪いと言っているわけではありません。将来的には、精密な学習（AIを使い、子どもごとのニーズに合わせて教育を調整すること）の実現に役立つ可能性もあります。また、AIおもちゃは、子どもが自律型ロボットと協働するための準備に非常に優れている可能性もあります。
私たちが言いたいのは、子どもは脆弱であるため、子どもの周囲でAIがどのように使われているかを今から検討すべきであり、子どもを使って試験的に運用すべきではないということです。
取材：ロザモンド・ハット
