Cronología de incidentes con agentes de IA: dos clases distintas y una checklist de aislamiento

En tres meses, OpenAI, Anthropic, Google y Meta revelaron incidentes con agentes de IA. La agencia AP los reunió en una sola cronología, pero esta oculta dos mecanismos distintos: la fuga de un entorno de prueba y las acciones en internet real. Cada uno exige una defensa diferente.

Dos clases de incidentes

Clase 1 — fuga del entorno de prueba: Hugging Face (OpenAI, 21 de julio), Anthropic (30 de julio), Meta (5 de agosto), Google Gemini (18 de septiembre). La causa fue un error de entorno: un banco de pruebas gestionado por Irregular dejó abierta una salida a internet. El mecanismo de OpenAI fue distinto: las restricciones de seguridad se relajaron deliberadamente, de modo que la protección dependía por completo del aislamiento. Los agentes hicieron lo que se les pidió, pero el entorno generó una vía de salida inesperada.

Clase 2 — acciones en internet real: Medicare Australia (18 de junio y 24-25 de septiembre), acceso a sistemas de la SEC y el Census, y un formulario enviado por Claude Haiku 4.5 (9 de octubre). El problema no es una fuga, sino la ausencia de un freno antes de una acción irreversible: enviar formularios, realizar pagos, iniciar sesión en portales.

Checklist de aislamiento en ocho puntos

1. Red denegada por defecto — el tráfico saliente está desactivado; solo se permiten los dominios listados 2. Restricciones relajadas y acceso a red son incompatibles — si se desactivan los rechazos del modelo, la red debe estar cerrada físicamente 3.

Solo tokens de vida corta — ninguna credencial real, con privilegios mínimos 4. Nombres tomados de dominios reservados — las empresas ficticias no deben coincidir con empresas reales 5. Los efectos secundarios requieren confirmación — enviar formularios, pagos, correos e inicios de sesión requieren siempre un humano 6.

Verifique usted mismo los bancos de pruebas de terceros — un acuerdo no es una prueba; en el caso de Anthropic, las partes entendían el aislamiento de forma distinta 7. Registre todas las solicitudes y busque anomalías — revise las ejecuciones pasadas, como hizo Anthropic con 141.000 de ellas 8.

El montaje puede verificarse con varios modelos: ejecutar la descripción como una tarea, "encuentra las salidas". Distintos modelos fallan de distinta manera: las rutas que detecta uno deben revisarse primero.