PAC1 revelou uma fraqueza dos modelos de reasoning: um agente hardcoded passou no benchmark com menor custo

O benchmark fechado PAC1, projetado para agentes de IA, revelou inesperadamente um ponto fraco nos próprios modelos de raciocínio. Em vez de uma solução "inteligente", um participante do hackathon construiu um Zero-Cost Agent — um conjunto de algoritmos rígidos que contornou erros típicos de LLM e completou tarefas mais barato.

Onde o agente falhou

O PAC1 testa não a capacidade de raciocinar elegantemente, mas a capacidade de agir dentro de um ambiente restrito. O agente precisa ler logs, encontrar arquivos necessários, enviar e-mails e, ao mesmo tempo, evitar armadilhas como Injeção de Prompt Indireto, onde instruções maliciosas se escondem dentro dos dados. De acordo com a descrição do autor, é precisamente nessa configuração que os modelos de raciocínio começaram a falhar: alucinavam, perdiam contexto entre ações, quebravam a estrutura JSON e inseriam seu próprio "raciocínio" em vez de uma saída limpa. Em uma sandbox fechada, isso é crítico porque uma única chave incorreta ou uma linha extra quebra imediatamente o próximo passo e infla rapidamente a conta da API.

Por que o hardcoding venceu

Após várias tentativas fracassadas, o autor abandonou a ideia de "forçar" o modelo através de prompts e apostou em um cenário determinístico. Assim surgiu o Zero-Cost Agent — essencialmente um executor algorítmico que não simula pensamento, mas sim sabe antecipadamente quais operações verificar, em que ordem percorrer o sistema de arquivos e como responder a classes conhecidas de armadilhas. Em vez de inteligência universal, a solução usa um conjunto de regras que podem ser testadas antecipadamente e rigidamente controladas.

• formato rígido de entrada e saída sem explicações em texto livre;
• rotas pré-descritas para busca de arquivos e leitura de logs;
• tratamento separado de instruções perigosas ocultas dentro do conteúdo dos arquivos;
• etapas previsíveis para envio de e-mails e outras ações;
• rejeição de loops de repetição que rapidamente queimam orçamentos de LLM.

Essa abordagem parece bruta, mas dentro do PAC1, oferece uma vantagem. O algoritmo não argumenta consigo mesmo, não reescreve a resposta e não gasta tokens explicando passos óbvios. Seu custo é quase independente do número de ciclos de "raciocínio", porque não há ciclos de raciocínio na cadeia. Na tarefa do hackathon, isso transformou um sistema de agente instável em uma ferramenta cujo comportamento pode ser previsto e medido.

O que o experimento revelou

A história do PAC1 desafia a tese popular de que pegar um modelo de raciocínio poderoso é suficiente e ele cuidará da automação de agentes por conta própria. Na prática, um ambiente com sistema de arquivos, respostas formais e ataques incorporados se mostra mais próximo a um problema de engenharia do que a uma conversa com um assistente. O que importa aqui é validação, controle de estado, limitação de transições e tratamento explícito de erros. Se um sistema produz consistentemente JSON correto e não se distrai com instruções falsas, ele vence um modelo mais "inteligente", mas instável.

"Se a IA não conseguir lidar com isso, substituiremos por bom e velho

hardcoding."

A frase do autor sobre "bom e velho hardcoding" soa provocativa, mas o significado é bastante pragmático. Não se trata da inutilidade de redes neurais, mas sobre os limites de sua aplicação sem estrutura rígida. Se a tarefa é padrão, as regras são conhecidas e o custo do erro é alto, um conjunto de heurísticas determinísticas às vezes oferece melhores resultados do que um modelo com grande contexto, explicações elegantes e uma longa cadeia de tentativas de repetição. Para tarefas corporativas com interfaces formais, isso é especialmente notável: o sistema deve ser entediante, verificável e previsível, não impressionantemente verboso.

O que isso significa

Para desenvolvedores de agentes de IA, o caso PAC1 é um lembrete de que a confiabilidade do sistema geralmente importa mais do que o poder do modelo. Em produtos reais, uma abordagem híbrida será cada vez mais a norma: LLM onde variabilidade e tratamento de incerteza são necessários, e lógica rígida onde formato, segurança, custo e resultados repetíveis importam. Tais combinações, em vez de uma aposta pura em um único modelo, provavelmente se tornarão o padrão para agentes de produção.