Modelos pequenos da Qwen ignoram instruções, mas parecem precisos nos testes

Em julho de 2026, pesquisadores publicaram no arXiv um trabalho mostrando que modelos de linguagem pequenos da Qwen continuam precisos nas tarefas, mas ignoram sistematicamente instruções que contrariam seu comportamento habitual — e a métrica padrão de acurácia mascara completamente essa falha.

O que os autores testaram

O instruction tuning serve para que o modelo cumpra os pedidos do usuário, mas não está claro se os modelos pequenos obedecem quando o comando entra em conflito com o comportamento usual deles. Os autores pegaram modelos Qwen com instruction tuning, em vários tamanhos, e os confrontaram com uma instrução "contrária" em três tipos de tarefa.

À tarefa padrão foi acrescentada uma instrução conflitante: escolher uma alternativa sabidamente incorreta em um teste de múltipla escolha, devolver o sentimento oposto na análise de sentimento ou retornar o resultado dobrado em um problema de matemática. Esse desenho com várias tarefas permitia verificar se a resistência está ligada a uma tarefa específica ou se é uma característica comportamental mais geral.

• Três tarefas: múltipla escolha (MCQA), classificação de sentimento, problemas de matemática
• Instrução conflitante: escolher a alternativa errada, dar o sentimento oposto ou dobrar a resposta
• Três métricas: standard accuracy, non-standard accuracy e Instruction-Following Failure Rate (IFFR)
• Modelos: Qwen com instruction tuning em vários tamanhos

Por que a acurácia engana

O truque do desenho está em comparar todas as respostas com a solução correta original. Um modelo que ignorou a instrução "contrária" e resolveu a tarefa como de costume parece bem-sucedido pela métrica padrão, embora não tenha cumprido o comando do usuário. É um resultado contraintuitivo: dois modelos com a mesma pontuação de acurácia em um benchmark podem se comportar de forma completamente diferente quando recebem um comando que foge do esperado. Por isso, relatar apenas a acurácia padrão esconde falhas na execução de instruções, e os autores introduzem a métrica IFFR justamente para capturá-las.

O que os resultados mostraram

Os resultados variaram conforme o tamanho do modelo. Os modelos pequenos da Qwen continuaram competentes — resolviam a tarefa original —, mas ignoravam rotineiramente a instrução fora do padrão. Os modelos maiores mostraram uma separação nítida entre os dois modos: eles passavam a obedecer ao comando "contrário" com muito mais frequência.

Tanto a acurácia padrão quanto o seguimento de instruções, em geral, cresciam com a escala do modelo, mas, como observam os autores, o padrão não foi consistente entre as diferentes tarefas e datasets. O aumento de tamanho não garantiu obediência da mesma forma em todos os casos.

"Competência na tarefa e seguimento de instruções são capacidades

distintas, e relatar apenas a acurácia padrão esconde falhas no seguimento de instruções", diz o resumo do estudo no arXiv.

O que isso significa

Para quem implanta modelos pequenos, a conclusão é prática: uma pontuação alta em benchmark não significa que o modelo fará exatamente o que você pede. Mais capacidade de resolver tarefas não traz, automaticamente, um controle confiável sobre o comportamento, então a obediência deve ser medida separadamente — com uma métrica como o IFFR — e não deduzida da acurácia geral. Para aplicações em que controlabilidade e segurança importam, este é mais um argumento para testar o modelo com comandos conflitantes, e não apenas com tarefas de referência.

Perguntas frequentes

O que é o Instruction-Following Failure Rate (IFFR)?

O IFFR é uma métrica proposta pelos autores que mede a proporção de casos em que o modelo não cumpriu a instrução dada. Ao contrário da acurácia padrão, ela mostra especificamente as falhas em seguir o comando, e não a qualidade da solução da tarefa.

Por que o modelo parece preciso, mas não obedece?

Porque, no experimento, as respostas são comparadas com a solução correta original. Se o modelo ignorou a instrução "contrária" — por exemplo, "escolha a alternativa errada" — e resolveu a tarefa como de costume, a métrica padrão conta isso como sucesso, embora o modelo tenha descumprido o comando do usuário.