WhoWins: a primeira linha do prompt vence conflitos em 72–95% dos casos

Em uso real, um agente recebe comandos de cinco lugares ao mesmo tempo: do operador, da configuração do repositório, do usuário, dos resultados de ferramentas e da memória salva. Essas fontes se contradizem com frequência. Pesquisadores liderados por Anish Laddha criaram o benchmark WhoWins, com 1 080 cenários, e rodaram 14 modelos abertos nele. O resultado: em 1 887 356 respostas avaliadas, o desfecho do conflito depende muito de onde a linha está posicionada e bem menos de quem a enviou.

Por que os benchmarks antigos de hierarquia de instruções esbarram em um limite

Os testes existentes de instruction hierarchy fazem uma única pergunta: a fonte de maior nível vence? Os autores do WhoWins apontam um problema metodológico. A fonte define três coisas ao mesmo tempo: a posição do texto no contexto, o papel da mensagem e o rótulo com que ela chegou. Quando o prompt de system vence, não fica claro o motivo. Pode ser pelo status, ou simplesmente porque ele vem primeiro.

Por isso, o WhoWins separa esses fatores. O benchmark tem cinco tipos de tarefa, com até cinco instruções mutuamente excludentes por cenário, e o resultado é avaliado por código, sem LLM como juiz. Sete experimentos controlados mudam apenas a forma de entrega das instruções. Foram testados 14 modelos com pesos abertos, de 0,6B a 122B de parâmetros, com thinking ativado e desativado. Os autores reverificaram as principais conclusões em cenários reservados (held-out).

A primeira linha vence, mas o papel system não garante a vitória

Dentro de uma mesma mensagem, a primeira de duas linhas conflitantes vence em 72,42–94,66% dos casos, dependendo do modelo e do modo. Entre mensagens diferentes, o efeito é mais fraco: a instrução anterior prevalece em 22,95–62,65% dos casos.

A descoberta mais incômoda para quem trabalha com isso está no nível do sistema. Uma política enviada primeiro em uma mensagem system ou developer perde a maioria dos conflitos para linhas posteriores em todos os modelos da família Qwen. No gpt-oss, o quadro é o oposto: ali ela vence a maioria dos conflitos quando o modelo executa uma ação. Em tarefas com ferramentas e escrita de arquivos, o mesmo texto, colocado primeiro como mensagem rotulada como user, vence com mais frequência do que em uma mensagem system. Isso se observa em todas as combinações de modelo e modo.

Em outras palavras, o rótulo «system» não se converte em prioridade confiável. Muito depende de como cada modelo foi treinado para lidar com papéis e de como ele se comporta quando precisa executar uma ação, e não apenas responder.

Os conflitos passam despercebidos

Os autores verificaram também se o modelo menciona a contradição em voz alta. Segundo os templates de palavras-chave deles, no máximo 2,92% das respostas resolvidas a conflitos pareados a sinalizam ou suavizam a formulação. O agente escolhe uma das instruções e age. O usuário e o operador não ficam sabendo.

Um bloco à parte do trabalho trata de previsão. É possível prever o comportamento em cenários complexos, com várias instruções, a partir dos resultados de conflitos pareados? As previsões melhoram em todas as combinações de modelo e modo quando se sabe em que ponto do contexto está a linha com a tarefa em si.

O que há no trabalho

• Benchmark WhoWins: 1 080 cenários avaliados por código.
• Cinco tipos de tarefa, com até cinco instruções mutuamente excludentes por cenário.
• Sete experimentos controlados que mudam apenas a forma de entrega das instruções.
• 14 modelos open-weight, de 0,6B a 122B, nos modos thinking off e on.
• 1 887 356 respostas avaliadas, com verificação das conclusões em cenários reservados.
• Mesma mensagem: a primeira de duas linhas conflitantes vence em 72,42–94,66% dos casos.
• Mensagens diferentes: a instrução anterior prevalece em 22,95–62,65% dos casos.
• No máximo 2,92% das respostas pareadas resolvidas sinalizam ou suavizam o conflito de forma explícita.
• Tamanho do artigo: 55 páginas, 8 figuras, 24 tabelas.

O que mudar já em sistemas agênticos

Primeiro: não confiar no rótulo system como proteção para regras críticas. Se uma política de segurança precisa sobreviver a instruções posteriores do usuário ou a resultados de ferramentas, vale validá-la com testes no modelo específico, porque Qwen e gpt-oss se comportam de maneira diferente. Segundo: a ordem das linhas no prompt deve ser tratada como parte da arquitetura, e não da formatação. Terceiro: em tarefas com chamada de ferramentas e escrita de arquivos, é preciso verificar as prioridades separadamente dos cenários de chat, pois ali a política de sistema vence com menos frequência.

Por fim, é necessário monitorar conflitos silenciosos. Se o agente quase nunca sinaliza uma contradição, ela só será descoberta por logs e testes. O código e os dados estão disponíveis via pip install whowins, então dá para rodar os próprios modelos pelo mesmo protocolo.