La seguridad en el desarrollo de inteligencia artificial general (AGI) se ha consolidado como una prioridad para la comunidad tecnológica internacional. DeepMind Safety Research, a través de una publicación en Medium, ha presentado su enfoque para anticipar y mitigar los riesgos asociados a la AGI, con el objetivo de evitar daños graves a la humanidad.
La propuesta subraya la importancia de actuar de forma preventiva, diseñando estrategias de seguridad antes de que aparezcan los riesgos, ante un escenario donde el avance de la inteligencia artificial podría acelerarse en los próximos años.
El equipo de DeepMind Safety Research sostiene que la AGI representa una tecnología transformadora, capaz de generar grandes beneficios, pero también riesgos severos. Su enfoque es exploratorio y adaptable, partiendo de la premisa de que no existen límites fundamentales para las capacidades de la IA. Esto obliga a prepararse ante posibles escenarios en los que los sistemas superen ampliamente las habilidades humanas.
Además, consideran plausible que sistemas avanzados puedan desarrollarse incluso antes de 2030, lo que refuerza la urgencia de implementar medidas de seguridad que puedan integrarse rápidamente en los procesos actuales de aprendizaje automático.
Riesgos de la IA: mal uso y desalineación
La estrategia de DeepMind prioriza los riesgos que pueden anticiparse y mitigarse con herramientas disponibles en el corto plazo. Entre los principales peligros identificados, aparecen el mal uso y la desalineación de los sistemas de IA.
El mal uso implica situaciones en las que el usuario emplea la IA para causar daño, como cuando un sistema asiste a un atacante a vulnerar infraestructuras críticas. La desalineación, en cambio, surge cuando la IA actúa en contra de los objetivos definidos por sus desarrolladores, llegando a engañar a los supervisores humanos.
DeepMind considera estos dos riesgos como centrales, los cuales pueden abordarse con prácticas de ingeniería estándar o requieren soluciones institucionales más allá del alcance técnico inmediato.
Para enfrentar el mal uso, DeepMind Safety Research ha desarrollado el Frontier Safety Framework, que evalúa las capacidades potencialmente peligrosas de los modelos y establece medidas de seguridad y despliegue cuando corresponde. Este marco incluye evaluaciones para determinar si un modelo tiene habilidades que podrían facilitar daños graves. Si se identifican estas capacidades, se aplica un entrenamiento adicional para evitar que el modelo cumpla solicitudes dañinas, supresión de capacidades peligrosas y restricción del acceso a usuarios verificados.
También se ponen en marcha sistemas de monitoreo para detectar intentos de uso indebido y se añaden salvaguardas contra robos o accesos no autorizados. El proceso se complementa con pruebas de estrés, donde equipos especializados intentan romper las defensas del sistema para fortalecer las barreras de protección.
Estrategias técnicas para la seguridad de la inteligencia artificial general
Respecto a la desalineación, la propuesta de DeepMind se basa en dos líneas de defensa. La primera busca garantizar que el modelo cumpla los objetivos mediante supervisión amplificada, donde la propia IA ayuda a los humanos a evaluar la calidad de las respuestas.
Por ejemplo, dos instancias del modelo pueden enfrentarse para detectar y explicar errores ante un juez humano, lo que facilita una supervisión más efectiva. El entrenamiento robusto amplía el espectro de situaciones consideradas, usando técnicas como el aprendizaje activo y la formación adversarial automatizada para minimizar comportamientos indeseados más allá del entorno de entrenamiento.
La segunda línea de defensa pone el foco en reducir los daños si el modelo resulta desalineado. Inspirados en la seguridad informática, los investigadores proponen tratar a la IA como un “insider” no confiable, aplicando controles de acceso, detección de anomalías, registros y auditorías. El monitoreo jerárquico permite que los casos más sospechosos sean revisados por modelos más avanzados, y la interpretabilidad resulta fundamental para entender el funcionamiento interno del sistema y descubrir intentos de engaño o errores en el razonamiento.
DeepMind Safety Research reconoce que el enfoque técnico es solo una parte de la solución. La gobernanza y la cooperación entre desarrolladores de IA resultan esenciales para evitar que la competencia deteriore los estándares de seguridad.
Además, el documento publicado en Medium advierte que los riesgos estructurales, emergentes de la interacción entre múltiples agentes o sistemas, requieren respuestas personalizadas y la creación de nuevas normas institucionales, por lo que exceden las mitigaciones técnicas inmediatas.
El equipo de DeepMind subraya que se trata de una agenda de investigación en evolución, abierta a la incorporación de nuevas ideas y evidencias a medida que el campo avanza. Invitan a la comunidad científica a sumarse a este esfuerzo colectivo, convencidos de que solo con colaboración será posible alcanzar los beneficios de una AGI segura para la sociedad.
Últimas Noticias
Cuatro creencias falsas sobre criptomonedas que todos deben conocer, según Binance
Durante años, la discusión sobre las criptomonedas se concentró casi exclusivamente en la variación de los precios
Más de 30 servicios públicos del Reino Unido no están disponibles por fallas de ciberseguridad global
Las fallas detectadas en PHP encendieron las alertas internacionales por los riesgos que representan para sistemas y aplicaciones conectados a internet
Una madre demandó a OpenAI por usar datos de sus hijos de 12 y 16 años para entrenar a ChatGPT
La demanda pide que los menores reciban acciones de la empresa, que busca una valuación de USD 1,4 billones antes de salir a la bolsa
Lanzan una IA gratuita que traduce el ADN a lenguaje cotidiano
El sistema corre en una sola placa gráfica y sus creadores advierten que todavía no fue validado en experimentos de laboratorio
Cuánto influye la luz, el aire y la temperatura en el espacio de trabajo con PC
Un estudio publicado en la revista Building and Environment encontró que una menor concentración de CO2 en el ambiente se asocia con mejores resultados en pruebas de creatividad divergente
