LiveMACEBench testou cinco agentes de LLM em mercado real por 30 dias

Pesquisadores apresentaram o LiveMACEBench, um benchmark que avalia agentes de LLM não pelo resultado final, mas pela forma como tomam decisões. O ambiente de teste são os mercados financeiros reais. Cinco modelos frontier atuaram como agentes persistentes por 30 dias seguidos, e os autores guardaram os rastros completos das decisões e os analisaram por mecanismo. O principal resultado: o retorno realizado muitas vezes diverge das capacidades medidas, e resultados parecidos podem vir de padrões de comportamento muito diferentes.

Por que um mercado, e não um conjunto estático de tarefas

Os benchmarks agênticos clássicos rodam em um ambiente fechado, com condições fixas. O agente resolve a tarefa, recebe uma nota e pronto. Em um ambiente em evolução, o quadro é outro. O resultado nasce de um ciclo de retroalimentação: o comportamento do agente afeta o estado das coisas, e as condições externas mudam independentemente dele. Olhando apenas o número final, é impossível saber a causa: uso competente de ferramentas, boa memória dos passos anteriores, cumprimento das regras ou simples sorte em um trecho específico do mercado.

O mercado financeiro real se presta naturalmente a esse tipo de teste. Ele muda o tempo todo, não dá para decorá-lo de antemão, e os dados não podem ser ajustados ao modelo durante o experimento. Os autores o chamam de "campo de provas naturalmente evolutivo" para agentes persistentes.

Como funciona o LiveMACEBench

O experimento envolve cinco LLMs frontier. Elas operam em trajetórias contínuas, e não em episódios isolados. Cada modelo passa por configurações comparáveis, nas quais capacidades específicas são ativadas ou desativadas.

• Tool Use: uso de ferramentas externas.
• Persistent Memory: armazenamento e aplicação de memória entre os passos.
• Rule Following: cumprimento de restrições e regras definidas.
• Multi-Agent Collaboration: interação entre vários agentes.
• Duração: 30 dias de avaliação ao vivo.
• Métricas: resultado realizado, mais diagnóstico por mecanismo específico com base nos rastros completos das decisões.

O segundo grupo de métricas é o mais importante aqui. Os autores olham não só para quanto o agente ganhou, mas também para como ele lidou com as ferramentas, o que recuperou da memória, se violou regras e como coordenou suas ações com outros agentes.

O descompasso entre resultado e capacidade

A principal descoberta recebe o nome de outcome-capability gap. O retorno com frequência não coincidia com a avaliação de capacidades específicas. Também ocorria o inverso: resultados finais próximos escondiam esquemas de uso dos mecanismos bem diferentes. Dois modelos podiam chegar a um número parecido, um por meio de um trabalho cuidadoso com ferramentas e memória, o outro por algo completamente distinto.

O rastreamento das decisões também revelou gargalos distintos. Cada capacidade tem os seus, e por isso uma única nota geral de "qualidade do agente" não reflete o quadro real. Os autores separam três coisas que costumam ser misturadas: acesso a um mecanismo, uso eficaz desse mecanismo e desempenho final. Segundo as conclusões deles, essas grandezas não são intercambiáveis.

O resumo do estudo não traz os nomes dos modelos nem os valores numéricos de retorno, então não é possível comparar fornecedores com base nele. O valor do trabalho está na metodologia: ela transforma o mercado real de uma tabela de classificação em um ambiente de diagnóstico.

O que as equipes que desenvolvem agentes devem fazer

A conclusão prática é simples: registre em log não só o resultado, mas todo o caminho até ele. Se o seu agente negocia ativos, escreve código, faz atendimento ou gerencia processos, os rastros completos das decisões são tão necessários para a depuração quanto a métrica de sucesso.

Segundo: verifique os mecanismos separadamente. Ter memória ou um conjunto de ferramentas na arquitetura não garante que o agente os use de forma sensata. Vale criar métricas do tipo "com que frequência e com que adequação a ferramenta é chamada" e "a memória recuperada influencia a decisão".

Terceiro: não confie em uma única execução em um ambiente que muda. Um bom retorno em um período curto pode ser ruído, e um retorno fraco pode esconder capacidades sólidas que simplesmente não combinaram com a fase do mercado. O diagnóstico por rastros ajuda a distinguir uma coisa da outra e a entender o que melhorar: memória, disciplina com as regras ou coordenação entre agentes.

Para quem escolhe um modelo para um produto agêntico, a conclusão também é prática: compare os candidatos com os seus próprios rastros, e não por um único leaderboard público.