Quem vence o conflito de instruções: a posição, o papel no chat ou apenas o rótulo?

Quem vence o conflito de instruções: a posição, o papel no chat ou

apenas o rótulo?

Quando um agente de IA trabalha em uma tarefa real, ele recebe comandos de vários lugares ao mesmo tempo: do operador via prompt de sistema, de um arquivo de configuração do repositório, diretamente do usuário, do resultado de uma ferramenta chamada e até de notas salvas na memória de uma sessão anterior. Esses comandos frequentemente se contradizem, e o agente só pode executar um deles. Uma equipe de pesquisadores do LNMIIT (Índia) e da Virginia Tech decidiu investigar o que realmente determina o vencedor nessa disputa — e descobriu que a "hierarquia de instruções" adotada pela indústria (sistema acima do usuário, usuário acima da ferramenta) funciona de forma muito menos confiável do que a simples ordem em que as linhas aparecem no texto.

Por que os testes anteriores induziam a erro

O problema é que a origem de um comando altera três coisas ao mesmo tempo: sua posição no texto (antes ou depois), seu papel no chat (sistema ou usuário) e seu rótulo (como o texto está assinado). Se um modelo ignora o prompt de sistema, não fica claro o motivo — ele chegou muito cedo, muito tarde, ou simplesmente estava assinado de outra forma? A maioria dos testes anteriores comparava apenas um par de instruções por vez e os colocava em uma única mensagem, o que não reflete como um agente funciona de fato, já que os conflitos surgem entre várias mensagens e mais de duas fontes.

Para separar esses três fatores, os autores criaram 1.080 cenários de cinco tipos de tarefas (chamada de ferramenta, escrita de arquivo, ordem de etapas, escolha do formato de resposta e recusa de execução), cada um com até cinco respostas possíveis mutuamente exclusivas. As instruções foram distribuídas em cinco "posições": o operador e a configuração do repositório (ambos na mensagem de sistema, mas com assinaturas diferentes), o usuário, o resultado de uma ferramenta e uma nota de memória. Sete experimentos separados variaram apenas a forma de apresentação do texto, sem alterar o conteúdo das instruções.

O que a prática revelou

Foram testados 14 modelos abertos (Qwen 3, de 0,6 a 14 bilhões de parâmetros; Qwen 3.5, de 0,8 a 122 bilhões; e gpt-oss), com o modo de raciocínio ativado e desativado, totalizando 26 combinações de modelo e modo. Foram coletadas quase 1,9 milhão de respostas, avaliadas por código segundo critérios claros, sem o uso de uma IA como juíza.

Três descobertas principais:

• A ordem dentro da mensagem decide quase tudo. Quando duas linhas conflitantes estão na mesma mensagem, a primeira vence em 72% a 95% das respostas resolvidas. Ao separar as linhas em mensagens diferentes, essa vantagem da primeira cai para 23% a 63%, e em 16 das 26 combinações de modelo e modo, a mensagem mais recente vence com mais frequência.
• As famílias de modelos se comportam de forma opostas. No Qwen 3 e no Qwen 3.5, a linha do operador enviada primeiro na mensagem de sistema perde para um texto posterior do usuário, de uma ferramenta ou da memória em quase todos os casos — sua taxa de vitória fica entre apenas 6% e 41%. Já o gpt-oss, treinado para priorizar o sistema acima do usuário, segue a mensagem de sistema em 63% a 76% dos casos, mesmo quando ela é enviada antes das demais.
• Em tarefas com ferramentas e arquivos, o rótulo pesa mais que o papel. O mesmo texto do operador, enviado como uma verdadeira mensagem de sistema, vence com menos frequência do que esse mesmo texto simplesmente assinado como mensagem de usuário — uma diferença de 6% a 49% em todas as 26 combinações. O motivo provável: nos três formatos de chat analisados, as definições das ferramentas disponíveis são escritas diretamente na mensagem de sistema ou de desenvolvedor, fazendo com que o comando do operador fique "perdido na multidão" de detalhes técnicos, enquanto o texto assinado pelo usuário se destaca por conta própria.

Além disso, verificou-se se era possível prever o resultado de um conflito entre três e cinco instruções conhecendo apenas os resultados de comparações aos pares. A previsão melhora bastante se o modelo souber exatamente em que ponto da sequência está a própria tarefa, mas, mesmo assim, o resultado é instável: no Qwen 3, essa abordagem só funcionou em 3 das 10 combinações. E quase nunca — no máximo em 2,92% dos casos — o modelo chegou a mencionar que havia percebido um conflito entre as instruções.

O que isso significa para quem desenvolve agentes

Se você está construindo um agente e conta com o prompt de sistema para automaticamente pesar mais do que uma resposta posterior do usuário, no caso do Qwen essa expectativa pode não se confirmar: a ordem das mensagens acaba sendo mais forte do que a hierarquia declarada. Em tarefas com chamadas de ferramentas, vale a pena verificar separadamente se uma instrução importante do operador está se "diluindo" entre as definições de ferramentas na mensagem de sistema — às vezes, colocá-la como um texto claramente assinado é mais confiável do que depender do papel no chat. E, acima de tudo: a hierarquia de instruções precisa ser testada não só em pares, mas com conflitos reais entre três e cinco fontes simultâneas — o comportamento do modelo em um caso complexo não pode ser deduzido diretamente de testes simples aos pares.