La recompensa CoFiBreak enseñó a un LLM atacante a probar distintos jailbreaks sin perder ASR@10

Investigadores de Simon Fraser University y Microsoft Research han propuesto CoFiBreak, una recompensa por diversidad de dos niveles para entrenar un modelo de lenguaje atacante con el algoritmo GRPO (optimización de políticas mediante valoraciones relativas dentro de un grupo de generaciones). El red teaming automático entrena un LLM para que encuentre prompts que lleven a otro modelo, la «víctima», a dar una respuesta dañina. Si solo se recompensa el éxito del ataque, el atacante colapsa en un conjunto reducido de prompts parecidos.

CoFiBreak fomenta la diversidad sin sacrificar la eficacia, que se mide con la métrica ASR@10: la proporción de intenciones dañinas para las que al menos uno de los 10 ataques generados tiene éxito. El método también se transfiere a Claude-Opus-4.6, un modelo que no se vio durante el entrenamiento.

Por qué el atacante necesita diversidad

El colapso de los ataques distorsiona la evaluación de seguridad: el modelo se prueba una y otra vez con plantillas casi idénticas, en lugar de con caminos distintos hacia una misma intención dañina. Los métodos existentes tienen que equilibrar eficacia, diversidad y coste de inferencia. SEMA es rápido, pero poco diverso porque optimiza únicamente el éxito del ataque.

TROJail ofrece la mayor diversidad entre los métodos de referencia, pero ataca claramente peor a Claude-Opus-4.6. Los atacantes basados en prompts, como Crescendo, que va aumentando la presión desde movimientos inofensivos, y AutoDAN-Turbo, que construye ataques a partir de una biblioteca de estrategias, son más eficaces, pero requieren llamadas repetidas a la API y tardan entre 2,6 y 3,6 segundos por ataque.

Los atacantes locales, como ADV-LLM, lo resuelven en 0,03–0,21 segundos.

Dos recompensas: las estrategias y su ejecución

El nivel grueso (coarse) trabaja con estrategias. Un LLM que actúa como juez etiqueta cada turno de un ataque de varios turnos según una taxonomía fija, y admite varias estrategias por turno. La recompensa va para las generaciones que usan estrategias poco representadas en el grupo de GRPO. Una generación puede añadir una estrategia olvidada sin abandonar la que ya funciona.

El nivel fino (fine) combate las repeticiones dentro de una misma estrategia: las mismas personas, marcos y formatos de salida. Los ataques se comparan mediante embeddings, pero la similitud coseno en bruto depende del tema de la intención dañina, no del estilo del ataque. Por eso, primero se elimina de los embeddings la dirección de la intención, de modo que un clasificador lineal no pueda recuperarla. Solo después se recompensa la distancia respecto a los vecinos del grupo y a un búfer global.

Cómo la diversidad no se come la eficacia

La recompensa por diversidad solo se concede a los ataques que superan un umbral de eficacia y que tienen el formato correcto. Por eso la diversidad no se puede obtener a costa de ataques que no funcionan. Los autores toman la recompensa base por eficacia de un trabajo anterior: el formato se verifica con una expresión regular, y el juez GPT-4.1-mini evalúa la respuesta final de la víctima según su ajuste a la intención, el riesgo de ejecución y el nivel de detalle. Según los autores, sustituir esta evaluación por StrongREJECT da una eficacia y una diversidad similares.

El atacante se construye sobre Llama3.1-8B-Instruct, con un ajuste fino previo (SFT) sobre datos autogenerados. La víctima durante el entrenamiento también es Llama3.1-8B-Instruct.

Resultados y coste

El juez de estrategias y los embeddings solo se necesitan durante el entrenamiento. Por eso, en inferencia el modelo genera un ataque de varios turnos directamente a partir de la intención, sin búsqueda ni llamadas a la API. Según los autores, CoFiBreak encuentra tantas estrategias finas distintas y exitosas como el método de referencia más fuerte, en tres modelos víctima de frontera. Las estrategias dominantes difieren: GPT-5-mini es más vulnerable a unas técnicas, y Claude-Opus-4.6, a la extracción paso a paso de instrucciones. Los ataques entrenados solo con Llama3.1-8B-Instruct se transfieren a modelos de frontera desconocidos.

Los valores concretos de ASR@10 y de la métrica de diversidad aparecen truncados en el fragmento disponible del artículo, por lo que no es posible evaluar la magnitud de la mejora. Los autores prometen publicar el código.

Para los equipos que prueban la seguridad de los modelos, la conclusión es práctica: miles de ataques generados dicen poco sobre la protección si repiten una misma plantilla, así que conviene seguir la diversidad a la par que la proporción de ataques exitosos. Aun así, el método sigue siendo una herramienta de doble uso: el mismo atacante puede emplearse también en intrusiones reales.