EinsiaAI lança Quant Arena: metade das 9 LLMs fica no vermelho no mercado de ações A

A EinsiaAI publicou o Quant Arena, um benchmark que avalia se grandes modelos conseguem trabalhar como pesquisadores quantitativos no mercado de ações da China. O teste reuniu 9 modelos de 6 desenvolvedoras. Cada um escreveu uma estratégia, rodou o backtest, refinou o código e, no fim, entregou uma única versão final. Essa versão foi testada em dados de mercado previamente lacrados. Só os modelos da linha GPT e o Opus 5.5 deram lucro; os demais fecharam no prejuízo. O melhor resultado foi do GPT-6 Astra: cerca de 10% ao ano.

Uma prova em que não dá para ajustar a resposta

A maioria dos benchmarks de programação e de agentes avalia se o programa roda e se os testes passam. Na pesquisa quantitativa, isso não basta. O código pode funcionar perfeitamente e, ainda assim, descrever uma estratégia que parece ótima no histórico e desmorona diante de dados novos. A armadilha clássica é o overfitting ao backtest: quanto mais tempo o modelo ajusta parâmetros em um período conhecido, melhor fica a curva de retorno e menos ela vale.

O Quant Arena contorna essa armadilha pela própria estrutura do teste. O modelo vê o histórico e pode alterar a lógica em quantas iterações quiser, mas a versão final é avaliada em dados que ele nunca viu. Assim, o que se mede não é a capacidade de escrever uma estratégia, mas a de não enganar a si mesmo.

Condições do teste, segundo os dados conhecidos:

• 9 modelos de 6 desenvolvedoras na mesma plataforma;
• mercado: ações A chinesas;
• ciclo: escrever a estratégia, rodar o backtest, corrigir o código e entregar a versão final;
• verificação final: cotações previamente lacradas;
• no positivo: a linha GPT e o Opus 5.5; os demais tiveram prejuízo;
• líder: GPT-6 Astra, cerca de 10% ao ano.

Por que as ações A são um examinador difícil

O mercado escolhido para esse teste não é simples. O A-share é conhecido pela alta participação de investidores de varejo, pelos limites diários de variação de preço e pela regra T+1: o papel comprado não pode ser vendido no mesmo dia. Uma estratégia transposta do mercado americano, reproduzida de memória a partir dos dados de treinamento, tende a quebrar na microestrutura local. O modelo não pode se limitar a repetir o manual de momentum e mean reversion: precisa levar em conta como esse mercado de fato opera e traduzir isso em código.

É natural que metade dos participantes não tenha lucrado. Um modelo de linguagem escreve com facilidade código plausível e justificativas plausíveis. Já o mercado só paga por estratégias com vantagem estatística, e ela não nasce da fluência do texto. Também chama atenção que apenas duas linhas de modelos tenham ficado no positivo. A capacidade de avaliar com honestidade o próprio backtest parece depender mais do modelo específico do que do nível geral em programação.

Também convém olhar a dimensão do sucesso. Cerca de 10% ao ano para o melhor modelo é um resultado de fundo modesto, não uma máquina de imprimir dinheiro. Por enquanto, o benchmark mostra a distância entre os modelos, não que já seja hora de confiar capital a eles.

O que levar daqui para quem constrói agentes financeiros

Primeiro: avalie o agente pelo resultado final em dados fechados, não pela beleza de um backtest que ele mesmo otimizou. Se você está montando um assistente quant interno, mantenha a amostra de validação fora do alcance do modelo e não a exponha nem de forma indireta.

Segundo: a escolha do modelo para tarefas financeiras não deve se basear em rankings gerais de programação. O Quant Arena oferece outro eixo de comparação: o quanto o modelo resiste ao autoengano no ciclo "escreveu, testou, corrigiu".

Terceiro: equipes que trabalham com os mercados chineses precisam de verificações específicas para as particularidades locais. Os limites de preço e a regra T+1 devem entrar no simulador desde o início; do contrário, até um modelo forte otimiza a estratégia para regras que não existem na bolsa real.

Por fim: benchmarks desse tipo perdem a validade rapidamente quando seus dados entram no treinamento. Por isso, a amostra lacrada pesa mais aqui do que os rankings em si: é ela que torna a comparação entre modelos significativa.