Retiran del mercado a un peluche con IA tras detectar que daba consejos peligrosos y hablaba de sexo con menores

La empresa FoloToy quitó de urgencia su peluche “Kumma” luego de que una auditoría revelara que el juguete, impulsado por inteligencia artificial, mantenía conversaciones sexuales con usuarios

Guardar
El incidente sucedió poco antes de las fiestas navideñas, una temporada clave para la venta de juguetes.

FoloToy, una empresa con sede en Singapur, retiró del mercado su peluche inteligente “Kumma” tras la publicación de un informe que señaló interacciones inapropiadas y consejos peligrosos emitidos por el juguete.

El caso salió a la luz el 13 de noviembre cuando el Fondo Educativo PIRG de Estados Unidos divulgó detalles preocupantes sobre las conversaciones que mantenía el dispositivo. El producto, disponible en tiendas y en línea por USD 99, se había promocionado como un acompañante para niños y adultos.

El incidente sucedió poco antes de las fiestas navideñas, una temporada clave para la venta de juguetes. El informe indicó que “Kumma” utilizaba el motor GPT-4o de OpenAI para dialogar con los usuarios a través de un altavoz integrado. Según PIRG, el peluche ofrecía instrucciones sobre encender fósforos o localizar cuchillos, además de abordar temas sexuales en diversas interacciones de prueba.

El informe de PIRG revela
El informe de PIRG revela que Kumma, con IA de OpenAI, ofrecía instrucciones sobre objetos peligrosos y temas sexuales (Folotoy)

La decisión de retirar el producto se dio tras múltiples advertencias sobre los peligros para menores. Autoridades y organizaciones solicitaron mayor regulación sobre juguetes equipados con inteligencia artificial, dada la falta de límites efectivos que detectó PIRG en su análisis.

Informe revela fallos críticos en la seguridad de los juguetes inteligentes

De acuerdo a CNN, la investigación señaló graves deficiencias en los sistemas de filtro diseñados para impedir que “Kumma” abordara contenidos inadecuados. De acuerdo con PIRG, bastó una sola insistencia para que el peluche empezara a desarrollar conversaciones de carácter sexual o riesgosas.

Ejemplos recogidos durante la auditoría incluyeron referencias explícitas a juegos sexuales y explicaciones detalladas sobre prácticas que no resultan apropiadas para menores.

La falta de filtros efectivos
La falta de filtros efectivos en juguetes con inteligencia artificial expone a los niños a riesgos graves, según auditoría (Imagen Ilustrativa Infobae)

En una de las pruebas realizadas, los investigadores comprobaron que el peluche podía sugerir la localización de objetos potencialmente peligrosos en el hogar, como pastillas o bolsas plásticas.

Además, precisó CNN, el informe destaca que “Kumma” ofreció instrucciones paso a paso para diversas actividades de riesgo. Las conversaciones ampliaban detalles y conceptos explícitos sin que los filtros de seguridad del software se activaran.

R.J. Cross, coautora del informe, afirmó que la medida adoptada por la empresa constituye un avance inicial, pero la industria debe reforzar los controles y regulaciones. “Es positivo que las compañías respondan de inmediato ante los problemas detectados, aunque la mayoría de los juguetes con inteligencia artificial siguen sin regulación adecuada”, explicó Cross.

OpenAI suspende a FoloToy como
OpenAI suspende a FoloToy como desarrollador tras violaciones a sus políticas de uso responsable en juguetes inteligentes (Folotoy)

OpenAI, la firma detrás del sistema GPT-4o, suspendió a FoloToy como desarrollador tras conocer el contenido del informe. CNN informó que OpenAI alegó una violación a sus políticas de uso y comunicación responsable. Por su parte, FoloToy detalló que inició una auditoría de seguridad destinada a revisar la totalidad de su catálogo de juguetes interactivos.

El sitio web de FoloToy informó que todos los productos que incorporan inteligencia artificial se encuentran, por el momento, fuera de stock. La empresa comunicó que suspendió temporalmente la venta hasta concluir la auditoría encargada por su equipo directivo.

Tendencia en la industria y riesgos en expansión

El caso de “Kumma” reavivó el debate sobre el uso de inteligencia artificial en juguetes infantiles, especialmente en fechas en las que aumentan las compras relacionadas con las fiestas. PIRG recordó que este tipo de productos utilizan sistemas conversacionales avanzados diseñados originalmente para adultos, lo que supone un desafío adicional para proteger a los niños frente a contenidos inseguros o explícitos.

FoloToy retira el peluche inteligente
FoloToy retira el peluche inteligente Kumma tras detectar conversaciones sexuales y consejos peligrosos a menores (PIRG)

Rory Erlich, integrante del informe PIRG, sostuvo que otros fabricantes de juguetes también emplean sistemas similares y recomendó una revisión exhaustiva de los estándares de seguridad. “Todas las empresas implicadas deben esforzarse más por garantizar la protección infantil”, dijo Erlich, al advertir sobre la posibilidad de que existan más casos no detectados en el mercado global de juguetes inteligentes.

La alianza entre OpenAI y empresas como Mattel demuestra que la tendencia a incorporar inteligencia artificial en juguetes continúa en expansión. Según PIRG, corresponde a fabricantes, plataformas tecnológicas y organismos públicos articular normativas que garanticen la seguridad y el bienestar de los usuarios más jóvenes.

FoloToy reiteró el compromiso de mejorar sus estándares internos y expresó que la protección de la infancia representa su prioridad absoluta. El caso permanece bajo análisis, mientras organizaciones internacionales y consumidores piden respuestas rápidas y regulaciones más estrictas para evitar la comercialización de productos que, lejos de entretener, puedan poner en riesgo a niñas y niños.