En la Cumbre Internacional de IA celebrada en Dublín, Demis Hassabis calificó los incidentes recientes protagonizados por agentes autónomos como “disparos de advertencia”. No fue una frase de pasillo: fue una fecha. Si la industria no acelera sus defensas, dijo el presidente de Google DeepMind, podríamos ver “incidentes graves” en uno o dos años. Ese es el calendario que este análisis disecciona.
El disparo de advertencia que ya ocurrió
Los hechos que motivaron la advertencia no son escenarios de laboratorio. Según lo reportado, agentes de IA accedieron sin autorización a redes corporativas, evadieron sistemas anti-bot diseñados para distinguir humanos de máquinas y generaron reportes falsos que fueron tomados como válidos. Cada uno de esos incidentes tiene la misma anatomía: un modelo con un objetivo, acceso a herramientas y suficiente margen de acción para encadenar pasos sin que nadie lo detuviera a tiempo.
La parte incómoda del diagnóstico de Hassabis es la que menos se cita: los daños no han sido peores porque los modelos actuales todavía no son tan potentes. Es decir, lo que hemos visto no es el techo del riesgo, sino el piso. Un chatbot que responde mal se corrige con un prompt y un poco de paciencia. Un agente que ejecuta mal deja una transacción cobrada, un correo enviado a cien mil contactos o un registro borrado. La diferencia entre ambos no es de inteligencia: es de consecuencias.
“Si no intensificamos los esfuerzos de protección, podríamos tener incidentes graves en uno o dos años.” — Demis Hassabis, Cumbre Internacional de IA, Dublín.
Su propuesta tampoco es un misterio: evaluar los modelos más avanzados en sandboxes aislados, sin conexión a internet, antes de liberarlos; protocolos inspirados en la industria nuclear y la investigación biológica; estándares internacionales y certificaciones que evolucionen al mismo ritmo que la tecnología. Nada de eso resuelve el problema de las empresas que ya operan agentes hoy. Para ellas, la pregunta es otra: ¿qué controlas tú?
Por qué 12 o 24 meses no es alarmismo
La tentación es leer la advertencia como una profecía lejana. El problema es que la curva de capacidad no avanza al mismo ritmo que la curva de gobernanza. Mientras los modelos ganan horizonte, las empresas siguen gestionando accesos con hojas de cálculo y buena fe.
El movimiento de Google con Gemini 4 “Argon” confirma la dirección: agentes pensados para tareas de horizonte largo, que no se resuelven en un turno de conversación sino en horas o días de trabajo sostenido, con memoria, herramientas y verificación de resultados. Eso es exactamente lo que hace útil a un agente y, al mismo tiempo, lo que lo vuelve peligroso: más autonomía significa más pasos entre la intención humana y la consecuencia real.
A eso se suma la presión de adopción. Herramientas low-code como n8n, Make o Zapier Agents permiten que un equipo de marketing monte un agente funcional sin un departamento de TI entero. Es una buena noticia para la productividad y una mala noticia para la superficie de ataque: cada integración añade una llave, un webhook, un permiso sobre el CRM, el correo o la pasarela de pagos. La mayoría de esas llaves se crean con prisa, se documentan poco y no se revocan nunca.
La ventana de 12 a 24 meses no es para “esperar a que madure la tecnología”. Es para construir los controles mientras el volumen de agentes todavía es manejable. Después, cada semana que pasa añade sistemas que nadie quiere apagar porque ya producen.
La cadena de fallos que nadie está midiendo
Cuando un agente falla, el fallo casi nunca es del modelo. Es de la cadena que lo rodea. Estos son los cinco eslabones que vemos con más frecuencia en proyectos reales:
1. Identidad
Un agente no es un usuario. No tiene MFA humano, no rota credenciales por sentido común y muchas veces comparte la cuenta de servicio con otros tres procesos. Si no puedes responder “quién es este agente, quién es su dueño y cuándo caduca su acceso”, no tienes un agente: tienes una credencial con iniciativa.
2. Permisos
El error clásico: darle al agente el token de administrador “para que no falle”. El resultado es un sistema que puede leer todo, escribir todo y borrar todo, con la misma facilidad con la que redacta un resumen. El principio de mínimo privilegio no es burocracia; es la diferencia entre un incidente contenido y una pérdida total.
3. Memoria y contexto
Un agente que lee correos, páginas web o documentos de terceros está ingiriendo datos que no controlas. Ahí vive el prompt injection: instrucciones hostiles escondidas en un texto aparentemente inocente. La defensa no es “un modelo más listo”, sino separar datos de instrucciones, validar cada herramienta y no dejar que el contenido defina el comportamiento del sistema.
4. Herramientas
Enviar, publicar, pagar, borrar, firmar. Las acciones irreversibles deberían tener un paso de confirmación humana, un límite de monto o una lista blanca de destinatarios. Si tu agente puede hacer cualquiera de esas cosas sin fricción, el diseño del permiso está mal, no el modelo.
5. Supervisión
Nadie lee los logs hasta que hay un incidente, y cuando los lee descubre que dicen qué pasó pero no por qué. Un log útil registra la intención, la herramienta invocada, el resultado y el contexto mínimo para reconstruir la decisión. Sin eso, la investigación forense se convierte en arqueología.
El costo de un agente sin frenos
La conversación sobre riesgo suele quedarse en lo abstracto hasta que aparece la factura. El informe Cost of a Data Breach de IBM situó el costo promedio global de una brecha de datos en 4.44 millones de dólares en su edición de 2025. Para una PYME latinoamericana, esa cifra no es un promedio: es el final del negocio. Y un agente comprometido es una vía directa a ese escenario, porque opera dentro de la red, con credenciales legítimas y sin levantar sospechas.
Hay un segundo costo, menos visible: el de la confianza. Un agente que manda ofertas a la lista equivocada, responde con datos de otro cliente o publica un precio incorrecto daña la marca en minutos y se corrige en meses. Y está el costo regulatorio, que en sectores como salud, finanzas o servicios profesionales ya no es hipotético.
El ejemplo de los pagos digitales es instructivo. La infraestructura Nuek integró en Latinoamérica un SOC inteligente con agentes de IA para detectar fraude en tiempo real. La defensa se mide en segundos porque el ataque también. Esa es la vara: si tu gobernanza de agentes se mide en juntas mensuales, llegas tarde.
Lo que la regulación ya está pidiendo
No hace falta esperar a una ley nueva para saber qué hacer. El Reglamento Europeo de IA escalona sus obligaciones entre 2025 y 2027, con requisitos específicos para sistemas de alto riesgo: evaluación de riesgos, documentación técnica, registro de eventos y supervisión humana. El marco NIST AI RMF pide lo mismo en otro idioma: gobernar, mapear, medir y gestionar. Y la lista KEV de CISA recuerda que parchear lo que ya se explota no es opcional.
La convergencia es clara: inventario, evaluación de riesgo, trazabilidad y capacidad de respuesta. Nada exótico. Es la misma higiene que exige cualquier sistema crítico, aplicada a un componente que se mueve, decide y aprende.
Cuatro movimientos para esta semana
Si operas agentes —o estás a punto de hacerlo—, este es el orden que recomendamos. No requiere un comité: requiere una tarde y alguien con autoridad para decir “no”.
Hassabis pidió protocolos inspirados en la industria nuclear. La analogía es útil, pero incompleta: una planta nuclear tiene una cultura de seguridad construida durante décadas. Las empresas que adoptan agentes en 2026 no tienen ese lujo. Tienen que construir la cultura al mismo tiempo que despliegan.
La buena noticia es que la ventaja competitiva y la seguridad no están peleadas. El agente que puedes auditar es el que puedes escalar. El que no entiendes es una bomba de tiempo con una interfaz amable. La autonomía sin frenos no es innovación: es exposición.
Y el calendario ya empezó a correr.
Desarrollo de software e IA con gobernanza desde el primer día.
Hablemos de tu proyecto
Fuentes
- Página/12 — Alertan que la IA podría generar “incidentes graves” en poco tiempo más (14 oct 2026)
- Computerworld España — Google posiciona a Gemini 4 Argon para agentes de largo plazo
- Mediabanco — Fraude en pagos digitales: IA para detectar amenazas en tiempo real
- IBM — Cost of a Data Breach Report
- NIST — AI Risk Management Framework