Quant-Arena: ninguno de los 9 LLM superó al mercado A-share en 2024

Nueve modelos frontier intentaron trabajar como investigadores cuantitativos con datos reales del mercado de acciones chino A-share. Ninguno batió en 2024 a una simple cartera equiponderada del mercado. GPT-6 Astra logró el mejor resultado de la tabla, pero tampoco él se tradujo en rentabilidad excedente sobre los datos reservados. Así lo muestra Quant-Arena, un nuevo benchmark y leaderboard público para la investigación cuantitativa de extremo a extremo, descrito en un artículo publicado en Hugging Face Daily Papers.

El ciclo completo en lugar de piezas sueltas

El trabajo cuantitativo funciona como un bucle. El investigador formula una hipótesis de mercado, la convierte en una señal ejecutable, la prueba sobre datos históricos y decide qué conserva y qué descarta. Los benchmarks existentes evalúan eslabones aislados: la corrección de una fórmula, la calidad del código o una decisión de trading individual. Queda sin respuesta si un LLM puede recorrer todo el bucle y entregar una estrategia que funcione fuera del periodo en el que se ideó.

Quant-Arena plantea justo esa pregunta. El modelo construye por sí mismo las features y escribe el código que puntúa las acciones. Recibe retroalimentación únicamente de 2022–2023. Después congela una sola estrategia, que se somete a prueba en el año 2024, sellado y desconocido para el modelo.

Cuenta de efectivo, comisiones y libro de órdenes

Lo más importante del diseño del benchmark es el evaluador. Funciona como una cash-account: aplica restricciones de trading y costes, y estima el impacto de mercado a partir de un libro de órdenes simulado. Así se cierra un agujero habitual en muchos backtests, donde una curva de rentabilidad atractiva surge de suponer que cualquier volumen puede comprarse al precio actual sin consecuencias.

La puntuación final se compone de tres partes:

• rentabilidad excedente realizada: es el componente principal y el que concentra la mayor parte del peso;
• calidad de la señal;
• diversidad de las features que usa la estrategia.

El tercer punto protege frente a soluciones degeneradas. Un modelo que encuentra un único factor útil y lo replica en diez variaciones obtendrá menos puntos que otro que combine fuentes de señal realmente distintas.

El mejor resultado, y aun así por debajo del mercado

Los autores probaron nueve modelos frontier. Por puntuación total, el primer puesto fue para GPT-6 Astra. Pero la puntuación incluye señal y diversidad, mientras que la prueba decisiva es el dinero ganado en el año cerrado. Ahí el panorama es duro: ningún modelo superó al mercado equiponderado en 2024.

De ahí puede extraerse una conclusión prudente. Los agentes LLM saben escribir código, generar features y mejorar métricas en el periodo al que tienen acceso. Eso, por ahora, no garantiza una rentabilidad sostenida fuera de la muestra. Una posible explicación es el sobreajuste a 2022–2023: el agente recibe retroalimentación solo de esos dos años y se optimiza para ellos. Quizá influya también un cambio de régimen de mercado. Pero estos mecanismos siguen siendo hipótesis; el único hecho confirmado es que una idea que lucía bien sobre datos históricos no sobrevivió al año sellado.

El mercado equiponderado no se ha elegido como listón por casualidad. Es una referencia aburrida, barata y difícil de superar, y con ella se compara cualquier gestor activo. Si un agente no puede batirla tras descontar costes e impacto en el precio, todavía es pronto para hablar de automatizar la investigación de alfa.

Cómo usar Quant-Arena

El benchmark está abierto a envíos de cualquier modelo o arnés de agentes. Es un detalle clave: en el leaderboard se pueden comparar no solo LLM base, sino también sistemas completos con memoria, herramientas, ciclos de autoverificación y disciplina en la selección de hipótesis.

Para los equipos que desarrollan agentes para finanzas, la utilidad es práctica. Primero, ofrece un banco de pruebas listo, con una separación estricta de periodos, en el que es fácil detectar el ajuste a la historia. Segundo, la métrica de diversidad de features indica si el agente explora el espacio de hipótesis o se queda dando vueltas en el mismo sitio. Tercero, al tener en cuenta el impacto de mercado, ofrece una evaluación más honesta de la escalabilidad de una estrategia que un backtest sin costes.

Para inversores y gestores, la conclusión es más sencilla: conviene contrastar con datos fuera de la muestra las afirmaciones grandilocuentes sobre traders de IA autónomos. Mientras el mejor modelo de Quant-Arena siga por debajo de una cartera pasiva, el papel del LLM en los equipos cuantitativos parece el de un asistente para código e ideas, no el de un sustituto del investigador.