Um único sufixo quebra qualquer LLM: pesquisadores encontram um vetor único de recusa

Pesquisadores mostraram que, apesar da aparente diversidade dos ataques adversariais a modelos de linguagem, todos exploram o mesmo ponto fraco estrutural: um único "vetor de recusa" no espaço de ativações. Um sufixo bem escolhido pode desbloquear qualquer modelo, mesmo que o ataque nunca o tenha visto.

Dois ataques, um ponto de vulnerabilidade

Os métodos mais conhecidos para burlar a proteção de LLMs, GCG (Greedy Coordinate Gradient) e AutoDAN, funcionam de maneiras fundamentalmente diferentes. O GCG acrescenta a um pedido nocivo um sufixo de tokens otimizados aleatoriamente: parece um monte de caracteres sem sentido, mas a sequência foi escolhida por descida de gradiente para empurrar o modelo a atender ao pedido. O AutoDAN age de outro jeito: gera um texto adicional legível e gramaticalmente correto por meio de busca evolutiva ou de um modelo de linguagem auxiliar. Ruído contra sentido, caos de tokens contra prosa coerente. Mesmo assim, por baixo do capô, os dois métodos fazem a mesma coisa no mesmo lugar.

• O GCG otimiza os tokens diretamente pelo gradiente da função de perda
• O AutoDAN usa busca evolutiva ou um LLM auxiliar para gerar o texto
• Ambos acrescentam um sufixo ao pedido nocivo original
• Ambos se transferem igualmente bem para modelos que o ataque não viu

O que é a refusal direction

Quando um modelo de linguagem recusa um pedido nocivo, isso não é obra de um sistema complexo e ramificado de filtros temáticos. No espaço de ativações internas do modelo existe um único vetor: a "direção de recusa" (refusal direction). Quando as representações do pedido são projetadas ao longo dele, o modelo recusa. Quando as ativações são levadas no sentido oposto, o modelo atende.

É importante entender que não se trata de metáfora, mas de um objeto matemático concreto. Os pesquisadores o encontram pelo método da diferença de médias: comparam como o modelo representa um pedido "normal" e um "nocivo", e a diferença entre essas médias é a refusal direction.

Anos de aprendizado por reforço com feedback humano (RLHF) não criaram uma proteção em camadas. Concentraram toda a "vontade de recusar" em um único eixo geométrico do espaço de ativações. O fato de ataques independentes, desenvolvidos por equipes diferentes, terem encontrado o mesmo objeto indica, por si só, que o fenômeno é estrutural.

"Toda a resistência da segurança pende de um único vetor.

Não é um bug de uma implementação específica, é uma propriedade estrutural de como funciona o alinhamento via RLHF".

Por que a universalidade dos ataques não é acaso

Se um sufixo desloca as ativações para longe da refusal direction, ele funciona contra qualquer modelo com treinamento semelhante, mesmo que o atacante nunca o tenha visto. Isso explica um fenômeno notado há tempos: sufixos encontrados em modelos abertos (Llama, Mistral) burlam sistemas comerciais fechados. Sufixos do GPT-3.5 funcionaram contra o GPT-4. A causa não é vazamento de pesos nem dados idênticos, e sim o fato de que todos os modelos RLHF modernos codificam a recusa em um objeto geométrico semelhante.

• O atacante não precisa de acesso direto ao modelo-alvo: basta qualquer proxy com treinamento semelhante
• O sufixo pode ser lixo ilegível ou texto coerente: os dois atingem o mesmo ponto
• Ataques públicos a modelos abertos se tornam automaticamente uma ameaça a sistemas proprietários

O que isso significa

Se toda a proteção contra saídas nocivas depende de um único objeto geométrico no espaço latente, surge a pergunta: basta "remendar" esse vetor no ajuste fino, ou é preciso uma arquitetura de treinamento radicalmente diferente? Alguns pesquisadores propõem remover cirurgicamente a direção do modelo na etapa de inferência, mas isso piora a qualidade geral.

O fato de ataques independentes de tipos diferentes terem convergido para a refusal direction aponta para uma característica estrutural dos LLMs atuais, e essa é uma fronteira em que a segurança de IA ainda não encontrou resposta.