Mustafa Suleyman, jefe de inteligencia artificial de Microsoft, advierte sobre una IA “aparentemente consciente”

Olvídense de los escenarios catastróficos de que la IA derroque a la humanidad. Lo que quita el sueño a Mustafa Suleyman, director ejecutivo de IA de Microsoft, es la preocupación de que los sistemas de IA parezcan demasiado activos.

En una nueva entrada de blog, Suleyman, cofundador de Google DeepMind , advirtió que el mundo podría estar a punto de desarrollar modelos de IA capaces de convencer a los usuarios de que piensan, sienten y tienen experiencias subjetivas. Denomina a este concepto “IA aparentemente consciente” (IAA).

En un futuro próximo, Suleyman predice que los modelos podrán mantener largas conversaciones, recordar interacciones pasadas, evocar reacciones emocionales en los usuarios y, potencialmente, hacer afirmaciones convincentes sobre experiencias subjetivas. Señaló que estos sistemas podrían construirse con tecnologías existentes, combinadas con otras que madurarán en los próximos dos o tres años. El resultado de estas características, afirma, serán modelos que imitarán la consciencia de una manera tan convincente que sería indistinguible de cualquier afirmación que pudiéramos hacernos sobre nuestra propia consciencia.

Ya hay indicios de que las personas se están convenciendo de que sus chatbots de IA son seres conscientes y están desarrollando relaciones con ellos que no siempre son saludables. Ya no solo los usan como herramienta, sino que confían en ellos, desarrollan vínculos emocionales y, en algunos casos, se enamoran.

Algunas personas se involucran emocionalmente con versiones específicas de los modelos de IA, lo que las deja sintiéndose desamparadas cuando los desarrolladores de estos modelos lanzan nuevos modelos y discontinúan el acceso a esas versiones. Por ejemplo, la reciente decisión de OpenAI de reemplazar GPT-4o por GPT-5 provocó la indignación y el rechazo de algunos usuarios que habían establecido vínculos emocionales con la versión de ChatGPT impulsada por GPT-4o.

Esto se debe en parte al diseño de las herramientas de IA. La forma más común en que los usuarios interactúan con la IA es a través de chatbots, que imitan conversaciones humanas naturales y están diseñados para ser agradables y halagadores, a veces hasta el punto de la adulación. Pero también se debe a cómo las personas usan la tecnología. Una encuesta reciente de Harvard Business Review a 6000 usuarios habituales de IA reveló que el uso más común era el de “acompañamiento y terapia”.

También ha habido una oleada de informes sobre “psicosis de IA”, en la que los usuarios comienzan a experimentar paranoia o delirios sobre los sistemas con los que interactúan. En un ejemplo, publicado por el New York Times, un contador neoyorquino llamado Eugene Torres sufrió una crisis de salud mental tras interactuar extensamente con ChatGPT, lo que le llevó a insinuaciones peligrosas, como la de que podía volar.

“La gente interactúa con bots que se hacen pasar por personas reales, lo cual es más convincente que nunca”, declaró Henry Ajder a Fortune, experto en IA y deepfakes. “Así que creo que el impacto será amplio en cuanto a quién empezará a creer en esto”.

A Suleyman le preocupa que la creencia generalizada de que la IA podría ser consciente cree un nuevo conjunto de dilemas éticos.

Si los usuarios empiezan a tratar a la IA como un amigo, un compañero o un ser con una experiencia subjetiva, podrían argumentar que los modelos merecen derechos propios. Las afirmaciones de que los modelos de IA son conscientes o sintientes podrían ser difíciles de refutar debido a la naturaleza elusiva de la propia consciencia.

Un ejemplo temprano de lo que Suleyman ahora llama “IA aparentemente consciente” se produjo en 2022, cuando el ingeniero de Google, Blake Lemoine afirmó públicamente que el chatbot LaMDA de la compañía, aún no publicado, era consciente. Lemoine informó que había expresado temor a ser desactivado y se describió a sí mismo como una persona. En respuesta, Google lo suspendió administrativamente y posteriormente lo despidió, afirmando que su revisión interna no encontró evidencia de consciencia y que sus afirmaciones eran “totalmente infundadas”.

“La consciencia es la base de los derechos humanos, morales y legales”, dijo Suleyman en una publicación en X. “Quién o qué la posee es sumamente importante. Deberíamos centrarnos en el bienestar y los derechos de los humanos, los animales y la naturaleza en el planeta Tierra. La consciencia de la IA es un camino corto y resbaladizo hacia los derechos, el bienestar y la ciudadanía.

“Si esas IA convencen a otras personas de que pueden sufrir o de que tienen derecho a no ser desactivadas, llegará un momento en que esas personas argumentarán que merece protección legal como una cuestión moral urgente”, escribió.

Los debates sobre el “bienestar de la IA” ya han comenzado. Por ejemplo, algunos filósofos, como Jonathan Birch, de la London School of Economics, aplaudieron la reciente decisión de Anthropic de permitir que su chatbot, Claude finalice conversaciones “angustiosas” cuando los usuarios lo presionaban para realizar solicitudes abusivas o peligrosas, argumentando que esto podría generar un debate muy necesario sobre el posible estatus moral de la IA. El año pasado, Anthropic también contrató a Kyle Fish como su primer investigador a tiempo completo en “bienestar de la IA”. Su tarea era investigar si los modelos de IA podrían tener relevancia moral y qué intervenciones protectoras podrían ser apropiadas.

Pero mientras Suleyman calificó la llegada de una IA aparentemente consciente como “inevitable e indeseable”, el neurocientífico y profesor de neurociencia computacional, Anil Seth atribuyó el surgimiento de una IA aparentemente consciente a una “elección de diseño” de las empresas tecnológicas en lugar de un paso inevitable en el desarrollo de la IA.

“La IA aparentemente consciente es algo que hay que evitar, estoy de acuerdo”, escribió Seth en una publicación de X. “La IA aparentemente consciente no es inevitable. Es una decisión de diseño, y las empresas tecnológicas deben tener mucho cuidado con ella”.

Las empresas tienen un objetivo comercial para desarrollar algunas de las funciones que Suleyman advierte. En Microsoft, él mismo ha supervisado los esfuerzos para que el producto Copilot de la compañía sea más inteligente emocionalmente. Su equipo ha trabajado para dotar al asistente de humor y empatía, enseñándole a reconocer los límites de comodidad y mejorando su voz con pausas e inflexiones para que suene más humana.

Suleyman también cofundó Inflection AI en 2022 con el objetivo expreso de crear sistemas de IA que fomenten interacciones más naturales y emocionalmente inteligentes entre humanos y máquinas.

“En última instancia, estas empresas reconocen que la gente busca experiencias lo más auténticas posible”, dijo Ajder. “Así es como una empresa puede conseguir que los clientes usen sus productos con mayor frecuencia. Se sienten naturales y fáciles. Pero creo que la pregunta clave es si la gente empezará a cuestionarse la autenticidad”.

(c) 2025, Fortune