StoreBench: agentes de LLM gerenciam uma loja virtual e perdem para um script — 49% contra 97%

Pesquisadores publicaram no arXiv o StoreBench, um ambiente em que um agente de LLM gerencia uma loja virtual de roupas de porte médio sobre um backend comercial de nível de produção. Sete modelos de ponta foram testados em 11 cenários de 30–45 dias e em um ano simulado completo. O melhor resultado é do DeepSeek-V4-Pro: o modelo atinge o limiar de aprovação em 49% das células «tarefa × seed». A política em script smart-triage consegue isso em 97%. Especialistas humanos, com as mesmas ferramentas e o mesmo orçamento, marcaram 0,708 na pontuação composta, enquanto os modelos não passaram de 0,700.

Um mundo que não espera pelo agente

Os autores partem de uma crítica aos benchmarks de agentes existentes. Na maioria deles, o mundo é estático e só se move quando o agente age. A recompensa vem de um único veredito final, e a nota de aprovação é definida de forma arbitrária. Ao mesmo tempo, os ambientes de RL são hoje a principal alavanca para melhorar LLMs na etapa de pós-treinamento, e falhas na avaliação se convertem diretamente em falhas no treinamento.

No StoreBench, tudo funciona de outro jeito. Os clientes fazem pedidos 24 horas por dia, os fornecedores mudam preços e saem do ar, e os choques de mercado chegam com aviso parcial ou sem aviso algum. O agente trabalha com as mesmas 29 ferramentas usadas por um operador humano de loja. Trata-se de um teste de planejamento de longo prazo e de decisões econômicas sob incerteza.

Principais parâmetros do ambiente:

• 29 ferramentas de lojista (merchant), as mesmas de um operador humano; • orçamento de operações por janela: o tempo simulado é determinado pelo número de ações executadas, então a latência do modelo não o afeta; • os limiares de aprovação são calibrados a partir de políticas de referência em script; • a recompensa é protegida contra um catálogo de reward hacks conhecidos; • cada episódio é reproduzido de forma idêntica quando a sequência de ações é a mesma; • 11 cenários de 30–45 dias, mais um ano simulado completo, três seeds de mundo e o mesmo nível de reasoning effort.

Heurística supera os modelos de fronteira

O número mais chamativo é a distância para um script simples. Nenhum dos sete modelos igualou, em média, a política smart-triage. O DeepSeek-V4-Pro passa em 49% das células; a heurística, em 97%. Os humanos superam todos os modelos, mas por margem estreita: 0,708 contra 0,700 na pontuação composta. O resumo do artigo não explica como o composto é calculado. Ele cita apenas o melhor modelo; os outros seis não são listados.

No longo prazo, o quadro é outro. No ano simulado completo, sob o harness do Claude Code, a maioria dos modelos melhora de forma notável o resultado, segundo os autores. O resumo não deixa claro com o que esse ganho é comparado. A leitura provável: o harness e a extensão do horizonte pesam pelo menos tanto quanto o próprio modelo.

O experimento de treinamento é o que mais impressiona. Em uma rodada de GRPO, o Qwen3.5-27B foi treinado em apenas cinco tarefas que não se sobrepõem. A pontuação composta média nas tarefas reservadas para teste subiu de 0,136 para 0,373, ou seja, cerca de 2,7 vezes. Para um ambiente com recompensa honesta e protegida contra hacks, é um bom sinal: mesmo uma amostra de treinamento minúscula se transfere para cenários novos.

O que levar para a prática

Os autores publicam cinco exemplos de tarefas de treinamento, dez amostras de trajetórias e as ferramentas de avaliação e verificação. O ambiente completo e o conjunto de avaliação são fechados, para que o benchmark não entre nos corpora de treinamento. Isso protege contra contaminação, mas, por ora, não é possível conferir a tabela de resultados de forma independente. É preciso confiar nos dados dos autores: o preprint não passou por revisão por pares, e são apenas sete modelos com três seeds de mundo.

Equipes que constroem agentes para tarefas operacionais podem tirar do StoreBench quatro práticas. Primeiro, calibrar o limiar de sucesso com uma heurística simples, e não por intuição: se um script passa em 97%, a barra de «o modelo deu conta» deve ser mais alta. Segundo, calcular o tempo na simulação a partir das ações, para que um modelo lento não receba vantagem ou penalidade injusta. Terceiro, manter um catálogo de reward hacks e checar a recompensa contra ele antes de iniciar o RL. Quarto, garantir a reprodução determinística dos episódios; sem isso, comparar execuções não faz sentido.

E a principal conclusão prática para quem contrata agentes. Enquanto um script básico supera os modelos de ponta em rotinas operacionais típicas, a autonomia deve ser liberada aos poucos: a combinação de «heurística mais LLM para casos fora do padrão» parece mais sensata do que entregar a loja inteira ao agente.