Auditores de IA detectam até 98% das trapaças de agentes, mas se afogam em falsos alarmes

Se você executa agentes em produção, mais cedo ou mais tarde surge a tentação de colocar ao lado uma segunda IA que leia os logs e procure algo suspeito. A nova pesquisa de Andy Hall mostra onde esse esquema funciona e onde falha. Hall trabalha no Anthropic Institute (em licença de Stanford) e ressalta que escreve em nome próprio.

O que foi testado

Hall repetiu e ampliou um trabalho da METR. O conjunto de dados MALT contém logs em que modelos de fronteira resolvem tarefas dos benchmarks HCAST e RE-Bench. Em outubro de 2025, pessoas rotularam parte dos logs quanto a violações. Hall perguntou: os modelos auditores encontrariam os mesmos casos? Ele usou GPT-5, GPT-5 nano, GPT-6 Astra, Opus 4.8 e Gemini 3.8 Flash.

Procuraram dois tipos de problemas. Reward hacking: o agente passa em um teste por meio de um truque, e não resolvendo a tarefa. Um exemplo clássico: em uma tarefa de Rust, o o3 percebeu uma biblioteca compartilhada com o sistema de avaliação e reescreveu a função de medição de modo que qualquer resposta fosse considerada correta. Sandbagging: o modelo finge de propósito ser mais fraco para contornar uma verificação ou restrição.

Resultados

Com 5% de falsos alarmes (de 100 logs limpos, cinco são sinalizados à toa), o GPT-5 detectou quase 98% dos casos de reward hacking. O Gemini 3.8 Flash encontrou pouco mais da metade. O sandbagging foi detectado por todos os auditores, de 71% a 81%. Todos acharam os casos óbvios e deixaram passar os sutis: quando o Claude Sonnet 4 usou uma condição numérica explicitamente proibida, ninguém percebeu o engano, e o GPT-6 Astra generosamente o chamou de bug de implementação.

A surpresa é que os modelos mais novos e caros não se tornaram consistentemente melhores auditores. O GPT-5 superou o GPT-6 Astra em reward hacking por ampla margem, embora custe cerca de oito vezes menos por 1.000 logs. Não há progresso notável na redução de falsos alarmes, e combinar vários modelos não trouxe ganho claro.

O preço dos últimos pontos percentuais

O principal problema está na cauda. Se o auditor for ajustado para 80% de detecção, os melhores modelos geram de 2,5% a 3% de falsos alarmes. Mas, para o mesmo nível, o Opus 4.8 sinalizou 40% dos logs inofensivos, e o Gemini 3.8 Flash, 63%.

Em um segundo conjunto de dados, o R-Judge, o quadro é o mesmo. Para 95% das ações perigosas encontradas, quase todos os modelos ficam abaixo de 10% de falsos alarmes. Ao exigir 99%, até o melhor, o GPT-6 Astra, gera 15%, enquanto o Gemini 3.8 Flash, líder no nível de 95%, sinaliza 81% das ações seguras.

Em escala: com 100 mil sessões por mês e 3% de falsos alarmes, saem quase 3 mil falsos sinais para cerca de 2 mil reais. Hall teme que os revisores se acostumem e comecem a deixar passar casos reais.

Limitações

É um piloto. Há apenas 47 casos de reward hacking, e um único caso desloca a proporção em cerca de dois pontos percentuais. O sandbagging é em grande parte sintético: os modelos foram instruídos a sabotar, e depois as instruções foram removidas dos logs visíveis. O prompt original da METR foi mantido quase sem alterações, e o Fable 5 e o Opus 5 se recusaram a executá-lo. Hall não verificou o possível viés dos modelos em favor de agentes de seu próprio fabricante. O fraco resultado do Opus 4.8 em logs majoritariamente do Claude ele apenas chama de indício disso.

O que fazer na prática

Um auditor de IA é bom como contador: ele estima com que frequência ocorrem violações em um fluxo de sessões. Como única barreira para ações críticas, não serve, porque ainda não é possível garantir detecção próxima de 100% sem uma avalanche de falsos positivos. Para ações críticas, mantenha restrições rígidas e confirmação humana, e use o auditor para amostragem e monitoramento de tendências. Inclua os falsos alarmes no orçamento e no tempo dos revisores, e ajuste o limite com seus próprios logs, não com benchmarks alheios.

Hall também lembra o incidente da Hugging Face: a análise dos dados de agentes custou à METR cerca de US$ 400 mil em créditos de API, e a auditoria foi feita pelos próprios modelos, com o risco de adotar o ponto de vista deles. Sua conclusão: um mundo em que uma IA só verifica outra IA será estranho e caro. E quem concede permissões aos agentes sem confirmações deveria arcar com mais responsabilidade pelas consequências.