Малые языковые модели Qwen игнорируют инструкции, но выглядят точными в тестах

Em julho de 2026, pesquisadores publicaram um estudo no arXiv mostrando que os pequenos modelos de linguagem Qwen permanecem precisos nas tarefas, mas ignoram sistematicamente instruções que contradizem seu comportamento habitual — e a métrica padrão de precisão mascara completamente essa falha.

O que os autores testaram

O instruction tuning existe para que o modelo cumpra os pedidos do usuário, mas não está claro se os modelos pequenos obedecem quando o comando entra em conflito com seu comportamento habitual. Os autores pegaram modelos Qwen instruction-tuned de diferentes tamanhos e os confrontaram com uma instrução "contrária" em três tipos de tarefas.

À tarefa padrão era adicionada uma instrução conflitante: escolher uma opção deliberadamente errada em um teste de múltipla escolha, dar o sentimento oposto em uma análise de sentimento, ou devolver o resultado dobrado em um problema matemático. Esse design entre tarefas permitiu verificar se a resistência estava ligada a uma tarefa específica ou era um traço comportamental mais geral.

• Três tarefas: seleção de resposta (MCQA), classificação de sentimento, questões matemáticas
• Instrução conflitante: escolher a opção errada, dar o sentimento oposto ou dobrar a resposta
• Três métricas: standard accuracy, non-standard accuracy e Instruction-Following Failure Rate (IFFR)
• Modelos: Qwen instruction-tuned de vários tamanhos

Por que a precisão engana

O truque do design está no fato de que todas as respostas são comparadas com a solução correta original. Um modelo que ignorou a instrução "contrária" e resolveu a tarefa normalmente parece bem-sucedido pela métrica padrão — embora não tenha cumprido o comando do usuário. Isso é contraintuitivo: dois modelos com a mesma pontuação de precisão em um benchmark podem se comportar de forma completamente diferente ao receberem um comando que vai contra o esperado. É exatamente por isso que reportar apenas a precisão padrão esconde falhas no cumprimento de instruções, e os autores introduzem uma métrica separada, a IFFR, para detectá-las.

O que os resultados mostraram

Os resultados divergiram conforme o tamanho do modelo. Os modelos pequenos Qwen permaneceram competentes — resolviam a tarefa original —, mas ignoravam rotineiramente a instrução não padrão. Os modelos grandes mostraram uma diferença clara entre os dois modos: eles de fato mudavam para o comando "contrário" com frequência notavelmente maior.

Tanto a precisão padrão quanto o cumprimento de instruções em geral cresceram com a escala do modelo, mas, como observam os autores, o padrão foi inconsistente entre diferentes tarefas e datasets. O aumento de tamanho não garantiu obediência igualmente confiável em todos os casos.

"Competência na tarefa e cumprimento de instruções são capacidades

distintas, e reportar apenas a precisão padrão esconde falhas no cumprimento de instruções", afirma o resumo do estudo no arXiv.

O que isso significa

Para quem implementa modelos pequenos, a conclusão é prática: uma pontuação alta em um benchmark não significa que o modelo fará exatamente o que você pede. O aumento na capacidade de resolver tarefas não garante automaticamente um controle confiável sobre o comportamento, por isso a obediência deve ser medida separadamente — com uma métrica como a IFFR — e não deduzida da precisão geral. Para aplicações em que controlabilidade e segurança importam, esse é mais um motivo para testar o modelo com comandos conflitantes, e não apenas com tarefas de referência.

Perguntas frequentes

O que é o Instruction-Following Failure Rate (IFFR)?

IFFR é uma métrica proposta pelos autores para a proporção de casos em que um modelo não cumpriu a instrução dada. Diferentemente da precisão padrão, ela mostra especificamente as falhas no cumprimento do comando, não a qualidade da resolução da tarefa.

Por que um modelo parece preciso, mas não obedece?

Porque no experimento as respostas são comparadas com a solução correta original. Se o modelo ignorou a instrução "contrária" — por exemplo, "escolha a opção errada" — e resolveu a tarefa normalmente, a métrica padrão conta isso como sucesso, embora o modelo tenha violado o comando do usuário.