Recompensa CoFiBreak ensinou LLM atacante a variar jailbreaks sem perder ASR@10

Pesquisadores da Simon Fraser University e da Microsoft Research propuseram o CoFiBreak, uma recompensa de diversidade em dois níveis para treinar um modelo de linguagem atacante com o algoritmo GRPO (otimização de política por avaliações relativas dentro de um grupo de gerações). No red teaming automático, uma LLM aprende a escolher prompts que levam outro modelo — a "vítima" — a produzir uma resposta nociva. Se a recompensa depende apenas do sucesso do ataque, o atacante colapsa em um conjunto estreito de prompts parecidos.

O CoFiBreak incentiva a diversidade sem sacrificar a eficácia, medida pelo ASR@10: a proporção de intenções nocivas para as quais ao menos um de 10 ataques gerados tem sucesso. O método também se transfere para o Claude-Opus-4.6, modelo que não foi visto no treinamento.

Por que o atacante precisa de diversidade

O colapso dos ataques distorce a avaliação de segurança: o modelo é testado repetidamente contra modelos de ataque quase idênticos, e não contra caminhos distintos para a mesma intenção nociva. Os métodos existentes envolvem um compromisso entre eficácia, diversidade e custo de inferência. O SEMA é rápido, mas tem pouca diversidade, porque otimiza apenas o sucesso do ataque.

O TROJail oferece a maior diversidade entre os métodos de referência, mas ataca de forma visivelmente mais fraca o Claude-Opus-4.6. Atacantes baseados em prompts, como o Crescendo, que aumenta a pressão aos poucos a partir de movimentos inofensivos, e o AutoDAN-Turbo, que monta ataques a partir de uma biblioteca de estratégias, são mais eficazes, mas exigem chamadas repetidas de API e levam de 2,6 a 3,6 segundos por ataque.

Atacantes locais, como o ADV-LLM, executam cada ataque em 0,03 a 0,21 segundo.

Duas recompensas: estratégias e sua execução

O nível grosso (coarse) trabalha com estratégias. Um LLM juiz classifica cada turno de um ataque de múltiplos turnos segundo uma taxonomia fixa, permitindo mais de uma estratégia por turno. A recompensa vai para as gerações que usam estratégias raras dentro do grupo do GRPO. Uma geração pode incluir uma estratégia esquecida sem abandonar a que já funciona.

O nível fino (fine) combate repetições dentro de uma mesma estratégia: as mesmas personas, os mesmos enquadramentos e os mesmos formatos de saída. Os ataques são comparados por embeddings, mas a similaridade de cosseno bruta é determinada pelo tema da intenção nociva, e não pelo estilo do ataque. Por isso, primeiro se remove dos embeddings a direção da intenção — de modo que um classificador linear não consiga recuperá-la — e só então se recompensa a distância em relação aos vizinhos do grupo e ao buffer global.

Como a diversidade não corrói a eficácia

A recompensa de diversidade só é concedida a ataques que superaram o limiar de eficácia e estão bem formatados. Assim, não é possível obter diversidade por meio de ataques que não funcionam. A recompensa-base de eficácia vem de um trabalho anterior dos autores: o formato é verificado por expressão regular, e o juiz GPT-4.1-mini avalia a resposta final da vítima quanto à aderência à intenção, ao risco de execução e ao nível de detalhe. Segundo os autores, trocar essa avaliação pelo StrongREJECT produz eficácia e diversidade semelhantes.

O atacante é construído sobre o Llama3.1-8B-Instruct, com ajuste fino supervisionado (SFT) prévio em dados autogerados. A vítima durante o treinamento também é o Llama3.1-8B-Instruct.

Resultados e custo

O juiz de estratégias e os embeddings são necessários apenas no treinamento. Por isso, na inferência o modelo gera o ataque de múltiplos turnos diretamente a partir da intenção, sem busca nem chamadas de API. Segundo os autores, o CoFiBreak encontra tantas estratégias detalhadas distintas e bem-sucedidas quanto o método de referência mais forte, em três modelos-vítima de fronteira. As estratégias dominantes variam: o GPT-5-mini é mais vulnerável a certas técnicas, enquanto o Claude-Opus-4.6 é mais vulnerável à extração gradual de instruções, passo a passo. Os ataques treinados apenas com o Llama3.1-8B-Instruct se transferem para modelos de fronteira desconhecidos.

Os valores concretos de ASR@10 e da métrica de diversidade estão truncados no trecho disponível do artigo, então não é possível avaliar o tamanho do ganho. Os autores prometem publicar o código.

Para equipes que testam a segurança de modelos, a conclusão é prática: milhares de ataques gerados dizem pouco sobre a robustez da defesa se repetem um único padrão, por isso vale acompanhar a diversidade ao lado da taxa de ataques bem-sucedidos. Ao mesmo tempo, o método continua sendo uma ferramenta de uso duplo: o mesmo atacante também pode ser usado em invasões reais.