EinsiaAI lanza Quant Arena: la mitad de 9 LLM pierde dinero en el mercado de acciones A

EinsiaAI ha publicado Quant Arena, un benchmark que comprueba si los grandes modelos pueden trabajar como investigadores cuantitativos en el mercado chino de acciones. La prueba incluye 9 modelos de 6 proveedores. Cada uno escribió una estrategia, ejecutó el backtest, mejoró el código y, al final, entregó una única versión definitiva. Esa versión se probó con datos de mercado sellados de antemano. Solo dieron beneficios los modelos de la línea GPT y Opus 5.5; el resto terminó en pérdidas. El mejor resultado fue para GPT-6 Astra: cerca de un 10% anual.

Un examen en el que no se pueden ajustar las respuestas

La mayoría de los benchmarks de programación y agentes evalúan si el programa se ejecuta y si pasa los tests. En la investigación cuantitativa eso no basta. El código puede funcionar a la perfección y, aun así, describir una estrategia que luce muy bien sobre datos históricos y se desmorona con datos nuevos. La trampa clásica es el sobreajuste al backtest: cuanto más tiempo dedica el modelo a retocar parámetros sobre un periodo conocido, mejor se ve la curva de rentabilidad y menos vale.

Quant Arena sortea esa trampa con el propio diseño de la prueba. El modelo ve el histórico y puede cambiar la lógica tantas veces como quiera, pero la versión final se evalúa con datos que no ha visto. Así no se mide la capacidad de escribir una estrategia, sino la de no engañarse a uno mismo.

Condiciones de la prueba según los datos conocidos:

• 9 modelos de 6 proveedores en una misma plataforma;
• mercado: acciones A chinas;
• ciclo: escritura de la estrategia, backtest, corrección del código y entrega de la versión final;
• evaluación final: cotizaciones selladas de antemano;
• en positivo: la línea GPT y Opus 5.5; el resto, con pérdidas;
• líder: GPT-6 Astra, cerca de un 10% anual.

Por qué las acciones A son un examinador incómodo

El mercado elegido para esta prueba no es sencillo. A-share se caracteriza por una alta proporción de inversores minoristas, límites diarios a la variación del precio y la regla T+1: un valor comprado no puede venderse el mismo día. Una estrategia trasladada del mercado estadounidense a partir de lo memorizado en los datos de entrenamiento se rompe aquí con facilidad contra la microestructura. El modelo no puede limitarse a repetir el manual de momentum y mean reversion: debe tener en cuenta cómo se opera exactamente en este mercado y reflejarlo en el código.

Que la mitad de los participantes no haya ganado dinero parece lógico. Un modelo de lenguaje escribe con soltura código verosímil y justificaciones verosímiles. El mercado, en cambio, solo paga las estrategias con una ventaja estadística, y esa ventaja no nace de la fluidez del texto. También es revelador que solo dos líneas hayan quedado en positivo. La capacidad de evaluar con honestidad el propio backtest parece depender más del modelo concreto que del nivel general en programación.

Conviene también mirar la magnitud del éxito. Cerca de un 10% anual en el mejor modelo es un resultado propio de un fondo modesto, no de una máquina de imprimir dinero. Por ahora, el benchmark muestra la brecha entre modelos, no que estén listos para gestionar capital.

Qué deben llevarse quienes construyen agentes financieros

Primero: evaluar al agente por el resultado final sobre datos cerrados, y no por la belleza de un backtest que él mismo ha optimizado. Si construye un asistente quant interno, mantenga la muestra de validación fuera del alcance del modelo y no se la muestre ni siquiera de forma indirecta.

Segundo: la elección de modelo para tareas financieras no debe basarse en los rankings generales de programación. Quant Arena aporta un eje de comparación distinto: cuán resistente es el modelo al autoengaño en el ciclo «escribir, comprobar, corregir».

Tercero: los equipos que trabajan con los mercados chinos necesitan comprobaciones de las particularidades locales. Conviene incorporar al simulador desde el principio los límites de precio y la regla T+1; de lo contrario, incluso un modelo potente optimizará la estrategia para unas reglas que no existen en la bolsa real.

Y una última cosa. Los benchmarks de este tipo quedan obsoletos rápido cuando sus datos acaban en el entrenamiento. Por eso la muestra sellada es aquí más importante que los propios rankings: es ella la que da sentido a la comparación entre modelos.