JockeyBench: 28 configuraciones de agentes LLM pierden dinero en las carreras de caballos de Japón

Si un agente LLM predice razonablemente bien el resultado de un evento, ¿se puede ganar dinero con él? El equipo de HKUST KnowComp lo comprobó en las carreras de caballos japonesas y obtuvo una respuesta incómoda. En el benchmark JockeyBench, 28 configuraciones de «modelo más arnés» se ejecutaron sobre 324 carreras históricas. Los tests pareados, tras corregir por comparaciones múltiples, encontraron siete mejoras derivadas de revisar el pronóstico y dos empeoramientos. Aun así, el beneficio medio con apuestas según capped-Kelly es negativo en todas las configuraciones, sin excepción.

Las carreras de caballos como banco de pruebas para agentes

Los autores (Zhongwei Xie, Xingsu Li, Jingqiao Yu, Zihao Wang, Hong ChiTat, Zhaowei Wang, Weizhi Du, Yuxuan Liu, Huihao Jing, Jiaxin Bai y Yangqiu Song) abordan un problema concreto: la predicción repetida de eventos. El agente debe extraer una señal de datos ruidosos y demostrar después que esa señal vale algo en una serie de decisiones consecutivas. Las carreras de caballos encajan casi a la perfección en esta prueba: los eventos son regulares, los resultados son inequívocos y el mercado de apuestas pone precio al error.

La idea de ingeniería central es cómo se garantiza la honestidad del experimento. Los datos se entregan por fecha y el agente no ve nada que sea posterior a la carrera. Las herramientas son de pago, es decir, investigar cuesta dinero y ese coste cuenta en la evaluación final. Para comparar se usan controles pareados con programas congelados: así se puede separar el efecto de revisar el pronóstico de la variación aleatoria.

Dos esquemas de trabajo y tres capas de evaluación

El benchmark compara dos flujos de trabajo:

• el LLM escribe un predictor, es decir, un programa que se ejecuta después y genera los pronósticos;
• el LLM reúne evidencias y elabora un pronóstico nuevo para cada carrera por separado.

La evaluación se divide en tres niveles independientes:

• calidad del pronóstico;
• utilidad neta, específica del benchmark, teniendo en cuenta el pago por las herramientas;
• rentabilidad y riesgo retrospectivos de las apuestas con reglas de decisión fijas.

La descripción del trabajo no menciona los nombres de los modelos concretos, por lo que no es posible comparar proveedores a partir de ella. Sí hay una conclusión estructural. En la comparación de cuatro modelos, el modo con programa reutilizable ofrece un beneficio medio mayor y un gasto menor en investigación. La ventaja es relativa: de media, ambos modos pierden dinero.

Dónde se esconde el dinero y dónde desaparece

Lo más interesante está en el diagnóstico. El sesgo medio de las probabilidades, que parece tolerable en toda la muestra, cambia de signo en las apuestas que el agente realmente eligió. Dicho de otro modo, el modelo está especialmente seguro justo donde su seguridad es errónea: la selección de apuestas amplifica las estimaciones infladas. Es un mal conocido de cualquier sistema que busque «valor» frente al mercado, y los LLM no son inmunes.

El segundo hallazgo se refiere a las ejecuciones rentables aisladas. Dependen de ingresos concentrados: uno o dos resultados afortunados bastan para dar saldo positivo a toda la serie. Si se miran solo las mejores ejecuciones, es fácil confundir la suerte con la habilidad. Por eso el benchmark incorpora tests pareados y corrección por comparaciones múltiples, y el beneficio medio se calcula sobre todas las configuraciones.

Las cifras finales son estas:

• 28 configuraciones de «modelo más arnés»;
• 324 carreras;
• 7 mejoras significativas por revisión del pronóstico y 2 empeoramientos significativos;
• 0 configuraciones con beneficio medio positivo con capped-Kelly;
• 4 modelos en la comparación aparte de los dos flujos de trabajo, donde gana el modo con programa ya preparado.

Capped-Kelly fija el tamaño de la apuesta según el criterio de Kelly con un tope. Penaliza la sobreestimación de las propias probabilidades, y eso es precisamente lo que deja al descubierto la debilidad de los agentes.

La conclusión práctica para quienes construyen agentes de predicción, ya sea de demanda, precios, riesgos o eventos de mercado, es esta. Hay que evaluar por separado cuatro cosas: la competencia predictiva, la capacidad de adaptación, el consumo de recursos y el valor de la propia decisión. Mejorar la métrica del pronóstico no garantiza un retorno positivo, y un programa reutilizable y barato puede superar a una investigación costosa en cada caso. El código y la página del proyecto están publicados en GitHub y en el sitio de HKUST KnowComp, de modo que el protocolo puede trasladarse a otros dominios con eventos repetitivos.