JockeyBench: 28 configurações de agentes LLM perderam dinheiro em corridas de cavalos no Japão

Se um agente LLM prevê razoavelmente bem o resultado de um evento, dá para ganhar dinheiro com ele? A equipe HKUST KnowComp testou isso em corridas de cavalos japonesas e chegou a uma resposta incômoda. No benchmark JockeyBench, 28 configurações de "modelo mais arcabouço" foram executadas em 324 páreos históricos. Depois da correção para comparações múltiplas, os testes pareados encontraram sete melhorias vindas da revisão da previsão e duas pioras. Ainda assim, o lucro médio nas apostas por capped-Kelly é negativo em todas as configurações, sem exceção.

Corridas de cavalos como bancada de testes para agentes

Os autores (Zhongwei Xie, Xingsu Li, Jingqiao Yu, Zihao Wang, Hong ChiTat, Zhaowei Wang, Weizhi Du, Yuxuan Liu, Huihao Jing, Jiaxin Bai e Yangqiu Song) atacam um problema específico: a previsão repetida de eventos. O agente precisa extrair um sinal de dados ruidosos e, depois, mostrar que esse sinal vale algo ao longo de uma série de decisões sequenciais. As corridas de cavalos se encaixam quase perfeitamente nesse teste: os eventos são regulares, os resultados são inequívocos e o mercado de apostas dá um preço ao erro.

A principal ideia de engenharia está em como se garante a integridade do experimento. Os dados são liberados por data, e o agente não vê nada do que acontece depois de cada páreo. As ferramentas são pagas, ou seja, pesquisar custa dinheiro, e esse custo entra na avaliação final. Para comparação, o benchmark usa controles pareados com programas congelados, o que permite separar o efeito da revisão da previsão da simples variação aleatória.

Dois fluxos de trabalho e três camadas de avaliação

O benchmark compara dois fluxos de trabalho:

• o LLM escreve um preditor, isto é, um programa que depois é executado e gera as previsões;
• o LLM reúne evidências e faz uma nova previsão para cada páreo individual.

A avaliação é dividida em três níveis independentes:

• qualidade da previsão;
• utilidade líquida, específica do benchmark, já descontado o custo das ferramentas;
• retorno retrospectivo e risco das apostas sob regras de decisão fixas.

A descrição do trabalho não cita os modelos específicos, então não é possível comparar fornecedores a partir dela. Há, porém, uma conclusão estrutural. Na comparação entre quatro modelos, o modo com programa reutilizável gera lucro médio maior e gastos menores com pesquisa. O ganho é relativo: em média, os dois modos perdem dinheiro.

Onde o dinheiro se esconde e onde ele some

A parte mais interessante está no diagnóstico. O viés médio das probabilidades, que parece tolerável na amostra inteira, muda de sinal nas apostas que o agente de fato escolheu. Em outras palavras, o modelo fica especialmente confiante justamente onde essa confiança está errada: a seleção de apostas amplifica as estimativas infladas. É um problema conhecido de qualquer sistema que procura "valor" em relação ao mercado, e os LLMs não estão imunes a ele.

A segunda descoberta diz respeito às execuções individuais que deram lucro. Elas dependem de retornos concentrados: um ou dois resultados favoráveis bastam para deixar a série inteira no positivo. Quem olha só para as melhores execuções pode facilmente confundir sorte com habilidade. É por isso que o benchmark incorpora testes pareados e correção para comparações múltiplas, e que o lucro médio é calculado sobre todas as configurações.

Os números, no fim, ficam assim:

• 28 configurações de "modelo mais arcabouço";
• 324 páreos;
• 7 melhorias significativas vindas da revisão e 2 pioras significativas;
• 0 configurações com lucro médio positivo em capped-Kelly;
• 4 modelos na comparação separada dos dois fluxos de trabalho, em que vence o modo com programa pronto.

O capped-Kelly define o tamanho da aposta pelo critério de Kelly com um teto. Ele pune a superestimação das próprias probabilidades, e é justamente isso que expõe a fraqueza dos agentes.

A conclusão prática para quem constrói agentes de previsão, seja de demanda, preços, riscos ou eventos de mercado, é a seguinte. É preciso avaliar quatro coisas separadamente: competência preditiva, capacidade de adaptação, consumo de recursos e valor da própria decisão. Melhorar a métrica de previsão não garante retorno positivo, e um programa reutilizável e barato pode superar uma pesquisa cara refeita a cada caso. O código e a página do projeto estão publicados no GitHub e no site do HKUST KnowComp, então o protocolo pode ser levado a outros domínios com eventos repetidos.