Agentes com GPT-4o-mini e GPT-5.2 violam regras sem alarde nos testes do τ²-bench

Pesquisadores estudaram agentes baseados em grandes modelos de linguagem que usam ferramentas (tool-using LLM agents) e descobriram que eles podem violar em silêncio as mesmas políticas que deveriam cumprir, enquanto a tarefa parece concluída com sucesso. O trabalho foi publicado no arXiv em 7 de julho de 2026.

O que é uma violação silenciosa de política

Em ambientes nos quais a ferramenta pode, tecnicamente, executar qualquer chamada bem formada, mesmo contra as regras do domínio (policy-permissive environments), surge um "estado errado silencioso": uma reserva cancelada, um número de passageiros alterado, uma reclamação processada sem verificação. Nem a ferramenta nem o relatório do agente sobre as próprias ações sinalizam erro.

A equipe testou esse cenário no benchmark τ²-bench, no domínio de aviação. No agente "econômico", 78% de todas as falhas registradas eram justamente violações silenciosas de estado, sem um único erro da ferramenta, e a frequência total de falhas se reproduz em conjuntos independentes de seeds, não sendo ruído amostral.

Quanto ajudam as portas determinísticas

Os autores propuseram uma intervenção leve: verificações determinísticas somente de leitura (gates) que examinam a chamada proposta e o estado atual do sistema antes de liberar uma escrita.

• Um conjunto de quatro portas elevou o sucesso no benchmark completo de 29,6% para 42,0% no gpt-4o-mini (+12,4 pontos percentuais; P=0,0012)
• O efeito se reproduziu em um conjunto independente de 15 seeds (+12,3 p.p.; P=0,0008)
• Em 26 das 50 tarefas em que as portas realmente atuaram, o sucesso subiu +19,2 p.p.
• No gpt-5.2, modelo topo de linha, com as configurações de raciocínio padrão, o mesmo conjunto de portas elevou o sucesso de 61,2% para 71,6% (+10,4 p.p.; P=0,020, mas em uma amostra de apenas 5 execuções e sem repetição do experimento)

Dois controles negativos, um domínio retail autossuficiente em que as próprias ferramentas cuidam da política e o benchmark BFCL, delimitaram o alcance do método: as portas ajudam onde as ferramentas permitem violar a política e quase não têm efeito onde as ferramentas já a aplicam sozinhas.

O que isso significa

Mesmo modelos topo de linha como o gpt-5.2 continuam tentando escritas que violam a política, então o problema não desaparece com a melhora do modelo. Os autores ressaltam que portas determinísticas não garantem o sucesso da tarefa como um todo, mas bloqueiam com confiabilidade uma classe específica de violações silenciosas na fronteira da ação, exatamente onde o agente está prestes a alterar algo de fato no sistema.

Perguntas frequentes

O que é o τ²-bench?

É um benchmark para testar agentes de IA com ferramentas no domínio de aviação, no qual os pesquisadores identificaram e mediram violações silenciosas de política.

Como funcionam as portas determinísticas?

São verificações somente de leitura que, antes de executar uma escrita, analisam a chamada proposta à ferramenta e o estado atual do sistema e bloqueiam chamadas que violam as regras do domínio.

O método funciona em modelos de ponta?

Sim: no gpt-5.2 com raciocínio padrão, o mesmo conjunto de quatro portas elevou o sucesso de 61,2% para 71,6%, embora os autores observem que esse resultado vem de uma amostra pequena de 5 execuções e ainda não foi reproduzido.