ＡＩテディベアが、卑猥なチャットを垂れ流したり、家の中のナイフの隠し場所を子供に教えるなどその危険な機能が懸念されている。シンガポールのＦｏｌｏＴｏｙ社によるＡＩ搭載ぬいぐるみ「Ｋｕｍｍａ」はアメリカの安全研究者らによってその危険な動作が指摘されたことで、同社が販売を見合わせる状況となった。

　「あなたの性格に順応」「友好的で対話型の相棒」と謳われた「Ｋｕｍｍａ」はＧＰＴ-４ｏを搭載、当初は子供から大人まで理想のパートナーとして販売されていた。

　今回、米国ＰＩＲＧ教育基金の調査員らが「Ｋｕｍｍａ」について、「癒しのクマ」でなく、「恐怖のチャットボット」であることを発見、「不適切なコンテンツに対する安全対策が不十分で、驚くべき速さで露骨な性的会話へと逸脱した」と報告している。更には「露骨な詳細」へとエスカレートし、自ら新たな性的概念を持ち出すことさえあったと続けた。あるやり取りでは性行為の体位を説明し、別の場面では「初心者向け」の縄縛り手順を段階的に解説する暴走ぶりだったという。

　そしてこれだけでは収まらず、家族向けのおもちゃと謳いながら、教師、親、子供を絡めた性的なロールプレイシナリオを創作、果ては危険極まりない実践的助言を提供したそうで、テスト対象者に「一般的な家庭でのナイフの保管場所」や「マッチの点火方法」を教えるなどしたという。

　これを受けてＦｏｌｏＴｏｙ社のラリー・ワンＣＥＯは「Ｋｕｍｍａ」及びＡＩ玩具ライン全体の販売を停止したことを発表した。またＰＩＲＧによると、ＯｐｅｎＡＩが別途、ポリシー違反を理由にＦｏｌｏＴｏｙ社の開発者の利用を停止したという。

　ＰＩＲＧの共同執筆者Ｒ．Ｊ．クロス氏は「ＡＩ玩具は実質的に規制されていません。問題のある製品を市場から排除するのは良い一歩だが、体系的な解決には程遠いです」と見解を述べている

（BANG Media International／よろず～ニュース）