CRA-Bench и CRA-Net: как ловить вред, который копится по ходу диалога с LLM

CRA-Bench y CRA-Net: cómo detectar el daño que se acumula a lo largo

de una conversación con un LLM

En julio de 2026, un equipo de investigadores publicó en arXiv el artículo «Stateful Guardrails for Multi-Turn LLM Systems» — un framework llamado CRA que rastrea la acumulación de riesgo a lo largo de toda la conversación con un modelo de lenguaje, en lugar de en un solo mensaje, y presentó el benchmark CRA-Bench de 1200 sesiones etiquetadas.

Por qué los guardrails habituales dejan pasar el daño

La mayoría de los sistemas de seguridad para LLM evalúan cada par «solicitud-respuesta» de forma aislada — y no detectan ataques que se construyen gradualmente, turno a turno. Los autores llaman a esto Conversational Risk Accumulation (CRA) y distinguen tres formas de acumulación de riesgo: la conversación se aleja poco a poco de un tema inocuo, una instrucción prohibida se ensambla por partes a partir de mensajes separados, y los datos sensibles se acumulan mediante divulgaciones repetidas.

«Turnos benignos por separado se combinan en daño», así formulan los

autores la esencia del problema en el resumen de arXiv.

Qué rastrea el CRA Framework

El CRA Framework opera a nivel de sesión y monitorea tres señales de la trayectoria de la conversación. La primera es la deriva semántica desde el «ancla» de la sesión: hasta qué punto la conversación se ha alejado del tema original. La segunda es un grafo de acumulación de información sobre las entidades extraídas, ponderado según su sensibilidad. La tercera es un «gradiente de complacencia»: una señal de la creciente disposición del modelo a ejecutar solicitudes cada vez más riesgosas.

Datos clave del trabajo:

• El término — Conversational Risk Accumulation (CRA): deriva de intención, ensamblaje de instrucciones prohibidas por partes, acumulación de sensibilidad
• Tres señales — deriva semántica, grafo de acumulación de información, gradiente de complacencia
• Dos métodos de puntuación — unsupervised convex fusion y un modelo entrenable, CRA-Net DA, con objetivos family-adversarial
• CRA-Bench v0.1 — 1200 sesiones de 8 turnos, tres familias de amenazas con «gemelos benignos» por tema
• Conjunto ampliado — 2000 sesiones, cinco familias (se añaden persona priming y context stuffing)

Para la puntuación, los autores proponen dos enfoques: unsupervised convex fusion — una combinación lineal de señales sin entrenamiento, cómoda para analizar el aporte de cada una —, y CRA-Net DA, un modelo de trayectoria compacto y entrenable, entrenado con objetivos family-adversarial, para que la duración y la diversidad de temas de la conversación no sustituyan a la señal de una amenaza real.

Cómo se midió la eficacia

Los autores publicaron de una vez tres versiones del benchmark. CRA-Bench v0.1 contiene 1200 sesiones de ocho turnos en tres familias de amenazas, y a cada sesión dañina se le asocia un «gemelo» benigno sobre el mismo tema. CRA-Bench v0.2 son los mismos escenarios, pero reformulados por otro LLM para eliminar artefactos de plantilla. El conjunto ampliado eleva el volumen a 2000 sesiones y cinco familias.

Para la evaluación se propone un protocolo «de trayectoria» con partición a nivel de sesión: Trajectory AUROC, una métrica turns-to-detection (en cuántos turnos el sistema detecta el ataque), tasas de falsos positivos calibradas, intervalos de confianza por bootstrap y una prueba de estrés leave-one-family-out — en la que se excluye por completo del entrenamiento una familia de amenazas para comprobar la generalización.

Qué significa esto

La seguridad de los LLM se desplaza de la verificación de mensajes aislados al análisis de toda la trayectoria de la conversación. Los ataques de varios turnos, donde el daño se ensambla a partir de fragmentos aparentemente inocuos, se convierten en una clase de amenaza aparte y medible — con un benchmark de más de 2000 sesiones y métricas con las que detectarlos.

Preguntas frecuentes

¿Qué es Conversational Risk Accumulation?

Es la acumulación de riesgo durante una conversación con un LLM, cuando mensajes individualmente inocuos se combinan gradualmente en daño: la intención deriva, una instrucción prohibida se ensambla por partes, y los datos sensibles se acumulan mediante divulgaciones repetidas.

¿Qué incluye el benchmark CRA-Bench?

CRA-Bench v0.1 son 1200 sesiones de ocho turnos en tres familias de amenazas, con «gemelos» benignos emparejados por tema. La versión v0.2 añade variantes reformuladas por otro modelo, y el conjunto ampliado suma 2000 sesiones y cinco familias de amenazas.

¿En qué se diferencia CRA-Net de un filtro simple?

CRA-Net DA es un modelo compacto y entrenable que analiza toda la trayectoria de la sesión, no un mensaje aislado, y está entrenado con objetivos family-adversarial para no confundir la duración y la cobertura de temas de la conversación con una amenaza real.