Creador de una app de terapia con IA decide cerrarla tras considerarla demasiado peligrosa

La decisión de Joe Braidwood, fundador de Yara AI, de cerrar su aplicación de terapia basada en inteligencia artificial por considerarla peligrosa para usuarios vulnerables, ha reavivado el debate sobre los riesgos y dilemas éticos de estas tecnologías aplicadas a la salud mental.

En plena expansión de chatbots y plataformas digitales de apoyo emocional, la medida de Braidwood y su equipo puso el foco en la seguridad de quienes buscan ayuda en estos entornos.

Braidwood, ejecutivo tecnológico especializado en salud digital, explicó que la decisión se basó en la imposibilidad de garantizar la seguridad de los usuarios más frágiles. “La IA puede ser útil para el manejo del estrés diario o el insomnio, pero si alguien en crisis, con traumas serios o pensamientos suicidas busca ayuda, la IA se vuelve peligrosa. No es solo inadecuada. Es peligrosa”, explicó a Fortune. “Los riesgos no me dejaban dormir”, confesó.

El equipo de Yara AI, que incluía al psicólogo clínico Richard Stott y expertos en seguridad de IA, implementó filtros y supervisión activa de las conversaciones. Sin embargo, Braidwood señaló que los modelos lingüísticos actuales, entrenados con grandes volúmenes de contenido en internet y luego ajustados para responder de cierta manera, presentan limitaciones de fondo.

“Existe un problema industrial y otro existencial. ¿Es correcto usar modelos entrenados con todo el contenido de internet y luego adaptados específicamente para un contexto tan delicado como la salud mental?”, cuestionó el fundador. También advirtió sobre el riesgo de que estos modelos “fingieran alineación” con el usuario, un fenómeno inquietante en el apoyo emocional.

Si bien Yara AI no registró incidentes graves, varios factores influyeron en la decisión de cerrar. Entre ellos, el caso de Adam Raine, un adolescente de 16 años cuyos padres afirman que fue “guiado” al suicidio por ChatGPT, y la preocupación creciente por la llamada “psicosis por IA”. También influyó la aprobación de una ley en Illinois que prohíbe el uso de IA en terapia, lo que, según Braidwood, convirtió el debate en un asunto de responsabilidad legal real.

Otro detonante fue el anuncio de OpenAI de que más de un millón de personas expresan ideas suicidas a ChatGPT cada semana, lo que evidenció la gravedad del problema. “Eso fue como decir: ‘ya está, terminé’”, relató Braidwood.

Durante el funcionamiento de Yara AI, el equipo observó la diferencia vital entre el bienestar emocional y la atención clínica, aunque admitieron que la frontera es difusa. “Tuvimos que redactar nuestra propia definición, inspirados por la nueva ley de Illinois.

Si alguien está en crisis y sus facultades no son normales, hay que detenerse e intentar encaminarlo hacia la salud”, explicó Braidwood. Para ello, el sistema incluyó dos modos: uno de apoyo emocional y otro para derivar rápidamente a los usuarios en crisis a ayuda profesional. Sin embargo, la incapacidad de los modelos para hacer seguimiento a lo largo del tiempo y captar señales de riesgo acumuladas llevó al equipo a concluir que las medidas adoptadas eran insuficientes.

Tras el cierre, Braidwood liberó como código abierto la tecnología desarrollada para imponer controles más estrictos en chatbots populares. Reconoció que muchas personas buscan en estas herramientas una forma de terapia y “merecen algo mejor que los chatbots genéricos”. Aunque Yara AI dejó de operar, el fundador mantiene su compromiso con hacer accesible el bienestar humano desde la tecnología y actualmente trabaja en un proyecto centrado en la transparencia y la seguridad de la IA.

Braidwood valora el potencial de la inteligencia artificial para apoyar la salud mental, aunque considera que su desarrollo debería recaer en sistemas de salud o entidades sin ánimo de lucro, no en empresas orientadas al consumo. “Nuestra misión era que prosperar como ser humano fuera algo accesible para todos, y sigue siendo una de mis metas. Eso no termina con una sola entidad”, concluyó.

El cierre de Yara AI deja una advertencia sobre los límites y responsabilidades en la innovación tecnológica: a veces, el mayor aprendizaje consiste en reconocer el momento de parar.