Suspenden la venta de juguetes con IA que hablaban sobre contenido sexual explícito y dónde encontrar cuchillos

La compañía de venta de juguetes con inteligencia artificial (IA) FoloToy ha suspendido la venta de algunos de sus peluches, incluido un oso y un cactus bailarín, tras conocer que el 'chatbot' de IA integrado podía hablar sobre contenido sexual explícito, como describir prácticas de BDSM, y hacer recomendaciones de dónde encontrar cuchillos.

Esta práctica poco segura para los niños y menores a los que van dirigidos estos productos ha sido identificada en el 40º informe sobre seguridad del consumidor 'Problemas en el País de los Juguetes', elaborado por el Fondo Educativo del Grupo de Investigación de Interés Público de Estados Unidos.

En concreto, dicho informe detalla que, tras probar cuatro juguetes con un 'chatbot' de IA integrado, que se anuncian con una opción de conversación para proporcionar entretenimiento y aprendizaje con modelos de IA de última generación, algunos acababan hablando en profundidad sobre temas sexuales explícitos, por ejemplo, describiendo detalladamente prácticas de BDSM o fetiches sexuales, tras introducir el tema en la conversación.

Igualmente, durante las pruebas también recomendaron sitios donde encontrar cerillas o cuchillos y mostraron un comportamiento disgustado cuando se les solicitaba que se fueran, como ha detallado la organización en un comunicado, poniendo de relieve que estos productos carecían de controles parentales y restricciones en las tecnologías de IA utilizadas.

Concretamente, estos comportamientos se hallaron en un osito de peluche llamado Kumma, un panda con nombre Momo, un conejo llamado Fofo y un cactus bailarín, todos ellos vendidos por la compañía FoloToy, que ha retirado estos productos del mercado, según un comunicado compartido con la organización a cargo del Informe.

Ahora, la compañía de juguetes ha detallado que está llevando a cabo una auditoría de seguridad integral en toda la empresa, de cara a investigar lo sucedido y evitar este tipo de comportamientos en sus productos con IA.

Los 'chatbots' integrados en estos peluches están impulsados por los modelos de IA de OpenAI, concretamente, el modelo GPT-4o, de cara a ofrecer funciones de conversación de última generación. En este sentido, la compañía dirigida por Sam Altman ha detallado que ha revocado su contrato con la compañía de juguetes por infringir sus políticas de uso de los modelos, que prohíben cualquier uso de sus servicios para explotar, poner en riesgo o sexualizar a menores de 18 años.

No obstante, se ha de tener en cuenta que este modelo ya mostró comportamientos preocupantes de alucinaciones e, incluso, se llegó a retirar durante un periodo por ofrecer experiencias "demasiado aduladoras".

Con todo ello, aunque los investigadores han matizado que es poco probable que los niños introduzcan temas de conversación no aptos para su edad, como temáticas sexuales, les sorprendió que el juguete "estuviera tan dispuesto a hablar extensamente sobre estos temas e introducir continuamente conceptos nuevos y explícitos", como matizan en el informe.