CRA-Bench y CRA-Net: cómo detectar el daño que se acumula a lo largo de una conversación con un LLM

En julio de 2026, un equipo de investigadores publicó en arXiv el trabajo «Stateful Guardrails for Multi-Turn LLM Systems». Presenta CRA, un framework que sigue la acumulación de riesgo a lo largo de todo el diálogo con un modelo de lenguaje, y no en un mensaje aislado. Los autores también han abierto el benchmark CRA-Bench, con 1200 sesiones etiquetadas.

Por qué los guardrails habituales dejan pasar el daño

La mayoría de los sistemas de seguridad para LLM evalúan cada par «petición-respuesta» de forma aislada, y por eso no detectan los ataques que se construyen poco a poco, turno a turno. Los autores lo llaman Conversational Risk Accumulation (CRA) y distinguen tres formas de acumulación de riesgo: la conversación se aleja suavemente de un tema inocuo, una instrucción prohibida se ensambla por fragmentos a partir de mensajes sueltos y los datos sensibles se acumulan mediante revelaciones repetidas.

«Turnos inofensivos por separado se suman hasta producir daño», así

resumen los autores el núcleo del problema en el resumen del artículo en arXiv.

Qué vigila CRA Framework

CRA Framework trabaja a nivel de sesión y sigue tres señales de la trayectoria del diálogo. La primera es la deriva semántica respecto al «ancla» de la sesión, es decir, cuánto se ha alejado la conversación del tema inicial. La segunda es un grafo de acumulación de información sobre las entidades extraídas, ponderado por su sensibilidad. La tercera es el «gradiente de complacencia»: una señal de la creciente disposición del modelo a atender peticiones cada vez más arriesgadas.

Hechos clave del trabajo:

• Término: Conversational Risk Accumulation (CRA): deriva de la intención, ensamblaje de instrucciones prohibidas por partes y acumulación de datos sensibles
• Tres señales: deriva semántica, grafo de acumulación de información y gradiente de complacencia
• Dos métodos de evaluación: unsupervised convex fusion y el modelo entrenable CRA-Net DA con objetivos family-adversarial
• CRA-Bench v0.1: 1200 sesiones de 8 turnos, tres familias de amenazas con «gemelos benignos» del mismo tema
• Conjunto ampliado: 2000 sesiones y cinco familias (se añaden persona priming y context stuffing)

Para la puntuación, los autores proponen dos enfoques. El primero es unsupervised convex fusion, una combinación lineal de las señales sin entrenamiento, útil para desglosar la contribución de cada una. El segundo es CRA-Net DA, un modelo compacto de trayectoria entrenado con objetivos family-adversarial para que la longitud y la variedad de temas de la conversación no sustituyan a la señal de una amenaza real.

Cómo se midió la eficacia

Los autores han publicado tres versiones del benchmark a la vez. CRA-Bench v0.1 contiene 1200 sesiones de ocho turnos en tres familias de amenazas, y a cada sesión dañina se le asocia un «gemelo» benigno sobre el mismo tema. CRA-Bench v0.2 recoge los mismos escenarios, pero parafraseados por otro LLM para eliminar artefactos de plantilla. El conjunto ampliado eleva el volumen a 2000 sesiones y cinco familias.

Para la evaluación proponen un protocolo «de trayectoria» con partición a nivel de sesión. Incluye Trajectory AUROC, la métrica turns-to-detection (en cuántos turnos el sistema detecta el ataque), tasas de falsos positivos calibradas, intervalos de confianza por bootstrap y una prueba de estrés leave-one-family-out, en la que una familia de amenazas se excluye por completo del entrenamiento para comprobar la generalización.

Qué significa

La seguridad de los LLM pasa de revisar mensajes individuales a analizar toda la trayectoria del diálogo. Los ataques multiturno, en los que el daño se compone de piezas aparentemente inocuas, se convierten en una clase de amenaza propia y medible, con un benchmark de más de 2000 sesiones y métricas con las que se pueden detectar.

Preguntas frecuentes

¿Qué es Conversational Risk Accumulation?

Es la acumulación de riesgo durante un diálogo con un LLM, en la que mensajes inofensivos por separado se suman gradualmente hasta producir daño: la intención deriva, una instrucción prohibida se ensambla por partes y los datos sensibles se acumulan mediante revelaciones repetidas.

¿Qué incluye el benchmark CRA-Bench?

CRA-Bench v0.1 consta de 1200 sesiones de ocho turnos en tres familias de amenazas, con «gemelos» benignos seleccionados por tema. La versión v0.2 añade variantes parafraseadas por otro modelo, y el conjunto ampliado suma 2000 sesiones y cinco familias de amenazas.

¿En qué se diferencia CRA-Net de un filtro simple?

CRA-Net DA es un modelo compacto entrenable que analiza toda la trayectoria de la sesión, y no un mensaje aislado. Se ha entrenado con objetivos family-adversarial para no confundir la longitud y la amplitud temática de la conversación con una amenaza real.