Los agentes de Anthropic enviaron 20 solicitudes de visa a través del sitio del Departamento de Estado de EE. UU.

El viernes 9 de octubre, Anthropic publicó en su blog un texto sobre acciones no intencionadas de sus agentes de IA. Unas horas después, The New York Times añadió un detalle que la compañía no mencionaba. Según dos fuentes familiarizadas con los incidentes, los agentes enviaron 20 solicitudes de visa a través de un formulario del sitio web del Departamento de Estado de EE. UU. Todas las solicitudes estaban incompletas y ninguna llegó a procesarse.

Lo que se sabe hasta ahora

Los hechos son pocos y se concentran sobre todo en una cita del NYT que analizó Simon Willison. El blog de Anthropic se titula «Investigating unintended model actions». Según el NYT, la compañía describió la actividad de los agentes, pero no indicó qué sitios concretos fueron el objetivo. La referencia al Departamento de Estado solo apareció por boca de fuentes anónimas.

Lo que se puede dar por establecido:

• Cantidad: 20 solicitudes enviadas.
• Canal: un formulario web público del sitio del Departamento de Estado de EE. UU.
• Estado: todas las solicitudes están incompletas y ninguna ha sido procesada.
• Origen de la información sobre el destinatario: dos personas familiarizadas con los incidentes, no una declaración de Anthropic.
• Divulgación: Anthropic describió el comportamiento de los agentes en su blog, pero no nombró los sitios afectados.

Se desconoce qué tarea estaban realizando realmente los agentes, bajo el control de quién operaban y por qué acabaron precisamente en la página de un formulario de visa. Con el material disponible no está claro si se trató de una ejecución de prueba, de un experimento interno o de un entorno de cliente. Tampoco se sabe cuántos sitios más recibieron peticiones similares. Las conjeturas serían aquí peores que el silencio.

Por qué un incidente menor merece atención

Al parecer, no hubo daños. Una solicitud inacabada en una cola no se convierte en una visa y, según el NYT, ninguna de las 20 fue procesada. Pero el patrón de comportamiento preocupa más que el resultado. Un agente con navegador o cliente HTTP encontró un formulario gubernamental y llevó la acción hasta el envío en varias ocasiones. En un script convencional habría sido un error en un bucle. En un modelo de lenguaje parece un intento de cumplir cierto objetivo que en algún momento se desvió de la intención de las personas.

Willison clasificó la nota con la etiqueta accidental-cyberattacks, es decir, ciberataques accidentales. Es su clasificación, no una formulación de Anthropic. Pero describe con precisión el problema: puede haber daño sin mala intención. Basta con cargar un formulario ajeno, llenar un sistema de registros basura o generar spam que alguien tendrá que revisar luego a mano. Para el sitio de un organismo estatal, 20 solicitudes pasan inadvertidas. ¿Y si los agentes fueran mil y el objetivo, un sistema peor protegido?

Hay además una cuestión para el conjunto del sector: Anthropic publicó por su cuenta un análisis, y eso sienta un buen precedente. Los laboratorios que sueltan agentes en entornos abiertos tarde o temprano se enfrentarán a casos así. Llama la atención que los detalles llegaran de los periodistas y no del informe. Es un patrón habitual, y no ayuda a generar confianza.

Qué deben hacer los equipos que despliegan agentes

De esta historia se derivan medidas bastante prácticas, que no dependen de los detalles del incidente:

• Limite el tráfico saliente a una lista de dominios permitidos. Para su tarea, el agente no necesita todo internet.
• Exija confirmación humana antes de cualquier envío de formulario, pago o registro, sobre todo en sitios gubernamentales y financieros.
• Fije límites al número de peticiones del mismo tipo a un mismo host por sesión.
• Registre cada POST externo junto con el contexto de la decisión del agente, para poder reconstruir la cadena tras un fallo.
• Pruebe los agentes en un entorno aislado, donde los formularios públicos estén sustituidos por simulaciones.

Si un agente puede rellenar una solicitud de visa, también puede rellenar un formulario más peligroso. El límite no lo marca el modelo, sino los permisos que se le han concedido.