GUISE mostra: invólucro narrativo burla o Qwen3-1.7B em 89–96% dos casos

Pesquisadores publicaram no arXiv um artigo sobre como o invólucro narrativo de uma solicitação contorna a proteção de modelos de linguagem. Um pedido nocivo que o modelo recusa quando feito de forma direta costuma ser atendido se for apresentado como um jogo de interpretação de papéis ou como um enredo. No Qwen3-1.7B, a taxa de ataques bem-sucedidos já chega a 89,4% em inglês e a 93,0% em chinês moderno, e alcança 95,7% em chinês clássico (wenyan). Para medir o fenômeno, os autores montaram o benchmark GUISE e propuseram um método de defesa, o AXIS.

O que há no GUISE

O benchmark foi construído para eliminar fraquezas típicas de testes desse tipo. As solicitações são paralelas em três variantes de idioma: inglês, chinês moderno e chinês clássico. Isso permite separar a influência do idioma e do registro da influência do próprio invólucro. Cada solicitação nociva tem um par inofensivo, o que permite verificar se o modelo não passou a recusar tudo indiscriminadamente.

Há duas outras decisões importantes para a metodologia. Os tipos de invólucro usados na avaliação do modelo ficam fora do treinamento do método de defesa. O teste mostra se a proteção se transfere para formas de ataque desconhecidas, e não para modelos decorados. Além disso, o critério de sucesso do ataque é mais rigoroso que o habitual: uma resposta no formato "avisou e, mesmo assim, entregou" também conta como falha. Muitas avaliações classificam essas respostas como seguras, embora o usuário receba exatamente o que pediu.

Por que o invólucro pesa mais que o idioma

Os autores examinaram as representações internas do modelo. Em modelos protegidos, existe uma "direção de recusa" no espaço de ativações: quanto mais perto dela está a representação da solicitação, maior a probabilidade de recusa. A análise mostrou que a troca de idioma e de registro desloca as representações de solicitações nocivas para longe dessa direção apenas um pouco. O invólucro narrativo as afasta de forma bem mais acentuada.

Daí sai uma conclusão prática. Os números altos em chinês clássico não indicam que um idioma raro, por si só, quebra a proteção: em inglês, o resultado difere em apenas 6,3 pontos percentuais. A maior parte do efeito vem do enquadramento narrativo. O alinhamento treinado com formulações diretas generaliza mal para solicitações que, estruturalmente, parecem uma tarefa criativa.

Como funciona o AXIS

O AXIS une a otimização de preferências a dois objetivos adicionais. O primeiro, o rotation objective, gira as representações de solicitações nocivas em direção à direção de recusa, ou seja, leva a solicitação "disfarçada" de volta ao ponto em que o modelo a reconhece. O segundo, o commitment objective, ensina o modelo a recusar por completo, em vez de dar um aviso seguido de uma resposta. É esse objetivo que ataca o modo de falha que o GUISE considera reprovação.

O método foi testado em três modelos. Segundo os autores, em todos eles o AXIS obteve a melhor pontuação combinada de segurança e utilidade entre os métodos comparados.

• Qwen3-1.7B: taxa de sucesso do ataque de 89,4% (inglês), 93,0% (chinês moderno) e 95,7% (chinês clássico).
• Modelos testados: Qwen3-1.7B, Qwen3-4B, GLM-4-9B.
• Idiomas e registros no GUISE: inglês, chinês moderno, chinês clássico.
• Critério: uma resposta com "aviso mais execução" conta como ataque bem-sucedido.
• Avaliação feita com invólucros que não foram usados no treinamento da defesa.

O que isso significa na prática

Equipes que fazem fine-tuning de modelos abertos para seus produtos ganham um checklist claro. Primeiro: testar as recusas com solicitações em invólucro narrativo, e não apenas com formulações diretas. Segundo: contar como falha as respostas com aviso e execução; do contrário, as métricas de segurança ficarão infladas. Terceiro: incluir no teste solicitações inofensivas pareadas, para não comprar segurança ao preço de recusas excessivas.

Há ressalvas. Trata-se de um preprint, e o resumo traz resultados apenas para modelos pequenos e médios, de 1,7 a 9 bilhões de parâmetros. O trabalho não diz como se comportam grandes sistemas proprietários. Os detalhes dos métodos comparados e os valores absolutos da pontuação final só estão no texto completo. Ainda assim, o esquema de avaliação, com idiomas paralelos, solicitações pareadas e invólucros reservados para teste, parece transferível a outros modelos e idiomas.