Investigación: Los ejecutivos que utilizaron IA generativa hicieron peores predicciones

Muchas organizaciones están priorizando la integración de herramientas de IA en el lugar de trabajo. Pero, ¿cómo se comporta la IA como aliada en la toma de decisiones de alto riesgo?

Para probar esto, realizamos un experimento simple. Le pedimos a más de 300 gerentes y ejecutivos que hicieran predicciones bursátiles después de revisar tendencias pasadas. A la mitad se le dio la oportunidad de consultar con sus colegas, mientras que la otra mitad pudo consultar con ChatGPT. Luego, los participantes podían revisar sus predicciones.

Los resultados fueron sorprendentes. Descubrimos que ChatGPT hizo que los ejecutivos fueran significativamente más optimistas en sus pronósticos, mientras que las discusiones entre pares tendían a fomentar la cautela. Además, descubrimos que los ejecutivos que usaron ChatGPT hicieron peores predicciones (basadas en cifras bursátiles reales) que las que habían hecho antes de consultar la herramienta. En este artículo compartimos lo que hicimos, lo que descubrimos, qué lo explica y por qué esto importa para cualquier líder que esté integrando IA en su proceso de toma de decisiones.

EL EXPERIMENTO

Nuestro estudio tuvo lugar durante una serie de sesiones de educación ejecutiva sobre IA entre junio de 2024 y marzo de 2025. Los participantes eran gerentes y ejecutivos de diversas empresas que participaban en un ejercicio de clase.

Primero, se le pidió a cada participante que hiciera un pronóstico individual: ¿Cuál creía que sería el precio de las acciones de Nvidia un mes en el futuro? Este estimado inicial fue entregado de manera privada. Luego, dividimos aleatoriamente a los participantes en dos grupos para un breve período de consulta:

-- Discusión entre pares (grupo de control): Estos ejecutivos discutieron sus pronósticos en pequeños grupos durante unos minutos.

-- Consulta con ChatGPT (grupo de tratamiento): Estos ejecutivos podían preguntarle a ChatGPT lo que quisieran sobre las acciones de Nvidia.

Después de esto, todos hicieron un pronóstico revisado del precio de Nvidia con un mes de anticipación, y recopilamos esas respuestas.

LOS RESULTADOS

LA IA CONDUJO A PRONÓSTICOS MÁS OPTIMISTAS.

Antes de cualquier discusión o consulta con IA, los dos grupos de ejecutivos tenían pronósticos estadísticamente indistinguibles para Nvidia.

Sin embargo, después del período de consulta, descubrimos que los ejecutivos que usaron ChatGPT se volvieron más optimistas en sus pronósticos. En promedio, el grupo de ChatGPT aumentó sus estimaciones de precio a un mes en aproximadamente 5.11 dólares.

LA DISCUSIÓN ENTRE PARES GENERÓ PRONÓSTICOS MÁS CONSERVADORES.

En contraste con el grupo de IA, el grupo de discusión entre pares redujo sus estimaciones de precio, en promedio, en alrededor de 2.20 dólares. Además, este grupo fue más propenso que el grupo de ChatGPT a mantener su estimación original.

LA CONSULTA CON IA HIZO PEORES PREDICCIONES.

Después de realizar nuestro estudio, esperamos un mes y luego comparamos las predicciones que los ejecutivos habían hecho con los datos reales de Nvidia. Descubrimos que ambos grupos fueron demasiado optimistas, en promedio. Sin embargo, también descubrimos que quienes usaron ChatGPT hicieron predicciones aún peores después de su consulta.

¿POR QUÉ LA IA GENERÓ EXCESO DE CONFIANZA Y OPTIMISMO?

¿Por qué consultar una herramienta de IA conduciría a estimaciones infladas y exceso de confianza, mientras que las discusiones entre pares provocaron mayor humildad y conservadurismo? Hemos identificado cinco razones:

1. EXTRAPOLACIÓN Y "SUBIRSE A LA TENDENCIA"

ChatGPT puede haber fomentado el sesgo de extrapolación. El conocimiento de la IA se basa en datos históricos, por lo que simplemente podría haber extendido la reciente tendencia al alza de Nvidia hacia el futuro. La orientación de la IA, basada puramente en patrones de datos pasados, puede haberse inclinado hacia el optimismo por defecto.

2. SESGO DE AUTORIDAD Y SOBRECARGA DE DETALLES

Muchos ejecutivos en la condición de ChatGPT informaron estar impresionados por el nivel de detalle y el tono confiado de la respuesta de la IA. En las discusiones posteriores al experimento, algunos participantes señalaron que ChatGPT proporcionó una gran cantidad de datos y razonamientos tan minuciosos y seguros, que hicieron que, en comparación, sus propias estimaciones iniciales parecieran inadecuadas.

3. EMOCIÓN (O FALTA DE ELLA)

Los humanos tienen emociones e instintos que pueden actuar como freno ante pronósticos extremos. Un ejecutivo que observe un gráfico bursátil meteórico podría sentir un matiz de cautela y una voz interna que diga: "Si está en su punto máximo, podría desplomarse". En nuestras sesiones, sospechamos que la cautela emocional jugó un papel en las discusiones entre pares.

ChatGPT, por otro lado, no tiene esa emoción ni intuición. No siente vértigo como una persona al ver un gráfico de precios en ascenso. Los usuarios que confían únicamente en los resultados de la IA no se benefician de esa revisión cautelosa.

4. CALIBRACIÓN ENTRE PARES Y DINÁMICAS SOCIALES

El acto de discutir con colegas introdujo otro conjunto de sesgos y comportamientos, que generalmente conducían hacia la cautela y el consenso. En una discusión grupal, las personas escuchan puntos de vista diversos y a menudo descubren que las expectativas de otros difieren de las propias. En nuestros grupos de pares, esta dinámica a menudo condujo a moderar puntos de vista extremos y encontrar un punto medio.

5. ILUSIÓN DEL CONOCIMIENTO

Las investigaciones han demostrado que cuando las personas tienen acceso a grandes volúmenes de información (como internet), es más probable que caigan en la ilusión de saberlo todo. Una cantidad significativamente grande de participantes mostró el efecto de esta ilusión cuando recurrieron a ChatGPT, una de las tecnologías más inteligentes con acceso a vastos recursos.

¿CÓMO USAR LA IA DE MANERA INTELIGENTE EN LAS DECISIONES EJECUTIVAS?

Nuestros hallazgos ofrecen lecciones importantes para líderes y organizaciones que están integrando herramientas de IA en sus procesos de toma de decisiones:

1. SEA CONSCIENTE DE LOS SESGOS DE LA IA Y DE LA ILUSIÓN DEL CONOCIMIENTO.

Consultar ChatGPT (o modelos de IA generativa similares) puede inclinar sutil pero significativamente sus expectativas y generar una confianza excesiva en ellas. Si usted usa IA para informar pronósticos o decisiones estratégicas, recuerde que puede impresionarlo con detalle mientras carece de la perspectiva cautelosa que los humanos aportan de forma natural.

2. NO ABANDONE LA DISCUSIÓN HUMANA, APROVÉCHELA.

Sí, la IA puede proporcionar análisis e información a gran velocidad, pero aún hay sabiduría en la sala. Sus colegas pueden aportar datos nuevos, contexto y una revisión de la realidad sobre ideas que suenan demasiado buenas para ser verdad, o simplemente demasiado precisas en su pronóstico. En la práctica, el mejor enfoque puede ser combinar la aportación de la IA con el diálogo humano.

3. EL PENSAMIENTO CRÍTICO ES CLAVE, SIN IMPORTAR LA FUENTE.

Ya sea que el consejo venga de una IA o de un colega, los ejecutivos deben aplicar su propio pensamiento crítico. Haga preguntas sobre la base de un pronóstico. En el caso de ChatGPT, uno podría indagar: ¿En qué datos se basa este pronóstico? ¿Podría haber factores recientes que esté pasando por alto? Entre pares, uno podría preguntar: ¿Estamos siendo demasiado conservadores porque todos estamos inseguros? Trate a la IA como un punto de partida para la investigación, no como la última palabra.

4. ENTRENE Y ESTABLEZCA DIRECTRICES PARA EL USO DE LA IA EN LOS EQUIPOS.

Si su organización está implementando asesores o asistentes de IA, haga saber que la IA podría fomentar el exceso de confianza. Su organización necesita directrices sobre cómo manejar la IA. Por ejemplo, antes de obtener un pronóstico generado por IA, exija una ronda de discusión entre pares o una revisión de los peores escenarios antes de consultar con la IA.

La IA está cambiando la forma en que se toman las decisiones, pero el juicio humano sigue siendo crucial. La lección para los líderes de nuestro experimento es tener presente de dónde viene el consejo. Si proviene de la IA, inyecte algo de sentido común humano; si proviene de humanos, incluso podría usar la IA para asegurarse de que no se está perdiendo una perspectiva externa.