Quant-Arena: nenhum dos 9 LLMs superou o mercado A-share em 2024

Nove modelos frontier tentaram trabalhar como pesquisadores quantitativos com dados reais do mercado de ações chinês A-share. Nenhum deles superou, em 2024, um simples portfólio equiponderado do mercado. O GPT-6 Astra tem o melhor resultado da tabela, mas nem ele se converteu em retorno excedente nos dados reservados para teste. É o que mostra o Quant-Arena, novo benchmark e leaderboard público de pesquisa quantitativa de ponta a ponta, descrito em um artigo no Hugging Face Daily Papers.

O ciclo completo, em vez de etapas isoladas

O trabalho quantitativo funciona como um laço. O pesquisador formula uma hipótese de mercado, transforma-a em um sinal executável, roda o sinal sobre o histórico e decide o que manter e o que descartar. Os benchmarks existentes avaliam elos separados: a correção de uma fórmula, a qualidade do código ou uma decisão de trade isolada. Fica a dúvida se um LLM consegue percorrer o laço inteiro e entregar uma estratégia que funcione fora do período em que foi concebida.

O Quant-Arena faz exatamente essa pergunta. O modelo constrói as features e escreve o código de scoring das ações por conta própria. Ele recebe feedback apenas dos anos de 2022–2023. Depois, congela uma única estratégia, que é testada em 2024, um ano lacrado que o modelo nunca viu.

Conta à vista, comissões e livro de ofertas

O ponto mais importante do desenho do benchmark é o avaliador. Ele funciona como uma cash account: aplica restrições de negociação e custos, e estima o impacto de mercado a partir de um livro de ofertas simulado. Isso fecha uma brecha comum em muitos backtests, em que uma bela curva de retorno nasce da suposição de que qualquer volume pode ser comprado ao preço atual, sem consequências.

A pontuação final é composta por três partes:

• retorno excedente realizado, o componente principal, com o maior peso;
• qualidade do sinal;
• diversidade das features que a estratégia utiliza.

O terceiro item protege contra soluções degeneradas. Um modelo que encontrou um único fator funcional e o replicou em dez variações recebe menos do que um que reuniu fontes de sinal realmente distintas.

O melhor resultado, e ainda abaixo do mercado

Os autores testaram nove modelos frontier. Na pontuação final, o GPT-6 Astra ficou em primeiro lugar. Mas a pontuação inclui sinal e diversidade, e o teste decisivo é o dinheiro no ano fechado. Aqui o quadro é duro: nenhum modelo superou o mercado equiponderado em 2024.

Daí dá para tirar uma conclusão cautelosa. Agentes de LLM sabem escrever código, gerar features e melhorar métricas no período a que têm acesso. Isso ainda não garante retorno consistente fora da amostra. Uma explicação possível é o overfitting a 2022–2023: o agente recebe feedback apenas desses dois anos e otimiza para eles. Uma mudança de regime de mercado também pode ter influência. Mas esses mecanismos continuam sendo hipóteses, e o único fato confirmado é que uma ideia que parecia boa no histórico não sobreviveu ao ano lacrado.

O mercado equiponderado como referência não foi escolhido por acaso. É um parâmetro entediante, barato e difícil de superar, e é com ele que se compara qualquer gestor ativo. Se um agente não consegue superá-lo depois de descontados os custos e o impacto no preço, ainda é cedo para falar em automação da pesquisa de alfa.

Como usar o Quant-Arena

O benchmark está aberto a submissões de qualquer modelo ou agente (harness). Esse é um detalhe-chave: no leaderboard é possível comparar não só LLMs básicos, mas também sistemas completos, com memória, ferramentas, ciclos de autoverificação e disciplina na seleção de hipóteses.

Para equipes que desenvolvem agentes para finanças, a utilidade é prática. Primeiro, é um ambiente pronto, com separação rigorosa de períodos, em que é fácil flagrar o ajuste excessivo ao histórico. Segundo, a métrica de diversidade de features mostra se o agente explora o espaço de hipóteses ou fica andando em círculos. Terceiro, a consideração do impacto de mercado dá uma avaliação mais honesta da escalabilidade da estratégia do que um backtest sem custos.

Para investidores e gestores, a conclusão é mais simples: declarações bombásticas sobre traders de IA autônomos merecem ser checadas com dados fora da amostra. Enquanto o melhor modelo do Quant-Arena continuar abaixo de um portfólio passivo, o papel dos LLMs em equipes quant parece ser o de assistente para código e ideias, e não o de substituto do pesquisador.