Seguridad de agentes de IA en producción: guía práctica de Red Teaming

Un agente no es un chatbot. Es un sistema con acceso a herramientas, servicios y datos corporativos. Un error del modelo en un chat aislado es una incomodidad. Un error de un agente con acceso al correo y a documentos es una posible filtración de datos o un incidente reputacional o financiero.

En qué se diferencia el Red Teaming de un agente

El Red Teaming de LLM se centra en el propio modelo de lenguaje: se prueban prompt injection, jailbreaks y alucinaciones. Si el modelo responde mal, es un problema local.

El Red Teaming de un agente es otra cosa. Aquí se revisa toda la pila: el modelo, las herramientas (tools), las API externas, las integraciones con sistemas corporativos y la lógica de enrutamiento de solicitudes. Un agente puede responder bien a las preguntas, pero equivocarse al elegir la herramienta, pasar mal los parámetros u olvidar comprobar los permisos de acceso. Y de pronto el agente ejecuta una acción que nunca debió realizar. Un solo error en esta cadena es un incidente.

Doubletapp desarrolló una metodología de Red Teaming que cubre ambos niveles: las vulnerabilidades del propio modelo y las de su integración con el mundo exterior.

Promptfoo: de la teoría a la práctica

Promptfoo es un framework para automatizar el Red Teaming. Se definen escenarios de prueba (attack scenarios), un conjunto de prompts peligrosos y reglas para evaluar los resultados. La herramienta ejecuta esas pruebas contra el agente y genera un informe que indica qué ataques tuvieron éxito.

El flujo de trabajo básico es sencillo:

• describa el comportamiento que quiere proteger;
• escriba escenarios de prueba, es decir, intentos de que el agente infrinja ese comportamiento;
• ejecute Promptfoo, que lanza todas las pruebas automáticamente;
• revise el informe y localice los agujeros;
• cierre la vulnerabilidad y repita.

La herramienta se integra con OpenAI, Anthropic, Claude y otros modelos. Todos los registros son transparentes, detallados y fáciles de analizar.

Qué vulnerabilidades buscar

En la práctica, Doubletapp se ha topado con clases de problemas recurrentes:

• Autorización incorrecta de tools: el agente elige la herramienta correcta, pero no comprueba si el usuario tiene permiso para esa operación
• Confusión de parámetros: el agente pasa user_id en lugar de admin_id por una nomenclatura poco clara en la especificación de la API
• Ataques encadenados: un pequeño error más otro pequeño error suman un bypass completo del sistema
• Ingeniería social a través del modelo: un atacante convence al agente de que está autorizado cuando en realidad no lo está
• Fuga de contexto a través de los logs: el agente registra datos sensibles que luego ve otro usuario

«Es el primer paso de un proceso, no el producto final», dicen más o menos de cualquier Red Teaming.

La primera ronda de pruebas destapará agujeros que habrá que cerrar oleada tras oleada.

Qué significa

El Red Teaming sale de los laboratorios y entra en la realidad operativa. Si ya ha lanzado un agente a producción, necesita un sistema que busque vulnerabilidades de forma continua. Promptfoo es una de las herramientas que se pueden poner en marcha ahora mismo y usar en su propia pila.

Las empresas empiezan a exigir no solo funcionalidad, sino pruebas de seguridad. Y es una exigencia acertada, porque lo que está en juego es mucho.