La récompense CoFiBreak apprend à une LLM attaquante à varier ses jailbreaks sans perte d'ASR@10

Des chercheurs de Simon Fraser University et de Microsoft Research proposent CoFiBreak, une récompense de diversité à deux niveaux pour entraîner un modèle de langage attaquant avec l'algorithme GRPO (optimisation de politique à partir des scores relatifs au sein d'un groupe de générations). Le red teaming automatisé apprend à une LLM à trouver des prompts qui poussent un autre modèle, la « victime », à produire une réponse nuisible. Si l'on ne récompense que le succès de l'attaque, l'attaquant s'effondre sur un petit ensemble de prompts similaires.

CoFiBreak encourage la diversité tout en préservant l'efficacité, mesurée par l'ASR@10 : la part des intentions nuisibles pour lesquelles au moins une des 10 attaques générées réussit. La méthode se transfère aussi à Claude-Opus-4.6, un modèle absent de l'entraînement.

Pourquoi l'attaquant a besoin de diversité

L'effondrement des attaques fausse l'évaluation de la sécurité : le modèle est testé à répétition sur des schémas quasi identiques, et non sur différents chemins menant à une même intention nuisible. Les méthodes existantes imposent un compromis entre efficacité, diversité et coût d'inférence. SEMA est rapide, mais peu diversifié, car il n'optimise que le succès de l'attaque.

TROJail offre la plus grande diversité parmi les méthodes de référence, mais attaque nettement moins bien Claude-Opus-4.6. Les attaquants basés sur des prompts, comme Crescendo, qui accentue progressivement la pression à partir d'échanges anodins, et AutoDAN-Turbo, qui assemble des attaques à partir d'une bibliothèque de stratégies, sont plus efficaces.

Ils exigent en revanche des appels répétés à l'API et consomment 2,6–3,6 secondes par attaque. Les attaquants locaux, comme ADV-LLM, y parviennent en 0,03–0,21 seconde.

Deux récompenses : les stratégies et leur mise en œuvre

Le niveau grossier (coarse) porte sur les stratégies. Une LLM-juge annote chaque tour d'une attaque multi-tours selon une taxonomie fixe, avec la possibilité d'attribuer plusieurs stratégies à un même tour. La récompense va aux générations qui emploient des stratégies peu présentes dans le groupe GRPO. Une génération peut ainsi ajouter une stratégie oubliée sans abandonner celle qui fonctionne déjà.

Le niveau fin (fine) lutte contre les répétitions au sein d'une même stratégie : mêmes personas, mêmes cadrages, mêmes formats de sortie. Les attaques sont comparées via leurs embeddings, mais la similarité cosinus brute dépend du sujet de l'intention nuisible, et non du style de l'attaque. C'est pourquoi les auteurs retirent d'abord des embeddings la direction de l'intention, de sorte qu'un classifieur linéaire ne puisse plus la retrouver. Ils récompensent ensuite l'éloignement par rapport aux voisins du groupe et au tampon global.

Comment la diversité évite de grignoter l'efficacité

La récompense de diversité n'est accordée qu'aux attaques qui dépassent un seuil d'efficacité et sont correctement formatées. La diversité ne peut donc pas s'obtenir au prix d'attaques inopérantes. Les auteurs reprennent la récompense d'efficacité de base d'un travail antérieur : le format est vérifié par une expression régulière, tandis que le juge GPT-4.1-mini évalue la réponse finale de la victime selon sa conformité à l'intention, le risque d'exécution et le niveau de détail. Selon les auteurs, remplacer cette évaluation par StrongREJECT donne une efficacité et une diversité comparables.

L'attaquant repose sur Llama3.1-8B-Instruct, avec un réglage fin préalable (SFT) sur des données qu'il a lui-même générées. Pendant l'entraînement, la victime est elle aussi Llama3.1-8B-Instruct.

Résultats et coût

Le juge de stratégies et les embeddings ne servent que pendant l'entraînement. À l'inférence, le modèle produit donc directement une attaque multi-tours à partir de l'intention, sans recherche ni appel d'API. D'après les auteurs, CoFiBreak trouve autant de stratégies fines distinctes et réussies que la meilleure méthode de référence, sur trois modèles de pointe pris pour cibles. Les stratégies dominantes diffèrent : GPT-5-mini est la plus vulnérable à certaines techniques, tandis que Claude-Opus-4.6 l'est à l'extraction d'instructions pas à pas. Les attaques entraînées uniquement sur Llama3.1-8B-Instruct se transfèrent à des modèles de pointe inconnus.

Les valeurs précises d'ASR@10 et de l'indicateur de diversité sont tronquées dans le fragment d'article disponible ; il est donc impossible d'évaluer l'ampleur du gain. Les auteurs promettent de publier le code.

Pour les équipes qui testent la sécurité des modèles, l'enseignement est pratique : des milliers d'attaques générées en disent peu sur la robustesse d'une défense si elles répètent un même schéma. La diversité mérite donc d'être suivie au même titre que le taux d'attaques réussies. La méthode reste toutefois un outil à double usage : le même attaquant peut servir à de véritables intrusions.