Test para analistas de IA: el líder obtiene 68 de 100, pero en pronósticos solo 52,5

Investor's Last Exam es un nuevo benchmark, es decir, un conjunto de tareas para comparar modelos. Lo han creado investigadores de la Antai College of Economics and Management de la Universidad Jiao Tong de Shanghái junto con inversores con experiencia y gestores de fondos. El planteamiento es sencillo: encomendar a un agente de IA el trabajo de un analista que estudia una empresa y decide dónde invertir, y comprobar si es capaz de hacerlo sin mirar al futuro. El mejor sistema, GPT-6 Astra, obtuvo 68,1 sobre 100. Sin embargo, en pronósticos logró solo 52,5. Es decir, los modelos han aprendido bastante mejor a leer informes y redactar conclusiones que a predecir cifras.

Cómo encerrar al agente en el pasado

El principal problema de los tests financieros es la filtración desde el futuro. Normalmente los datos se limitan con un filtro por fecha de publicación de la página. Los autores muestran que eso no basta. La fecha de la página puede seguir siendo antigua aunque el contenido se haya actualizado después. En la tarea sobre Tesla (número O74), el agente GPT-6 Astra envió una consulta con una fecha anterior al cierre del trimestre y aun así obtuvo una fuente del 2 de julio con las entregas reales de vehículos del segundo trimestre.

Por eso los autores montaron un corpus que conserva cada versión de un documento y no sobrescribe nada. A fecha de 15 de octubre de 2026 contiene 3 430 336 versiones y 1,52 TB de materiales. Las fuentes se dividen en nueve categorías:

• informes financieros; • tablas estructuradas de información financiera; • llamadas con inversores tras la publicación de resultados trimestrales; • materiales para inversores; • eventos de los emisores; • pronósticos de analistas; • informes de investigación; • posiciones de inversores institucionales; • noticias.

Además, hay datos de mercado sobre precios, rentabilidad y volatilidad. Se cubren los mercados de EE. UU., China continental y Hong Kong.

Cada versión lleva su hora de aparición, su zona horaria y una confirmación. Si no se puede establecer la fecha de forma fiable, el documento no entra en las tareas. En los registros dudosos, las fechas se estimaron primero y se volvieron a verificar con modelos actuales. La restricción actúa sobre toda la cadena: la búsqueda, la lectura, la descarga y la caché comprueban la disponibilidad de la misma manera. Los datos tabulares se congelan tras la consulta y las correcciones posteriores no los modifican. El agente hace los cálculos en un entorno aislado (sandbox) sin acceso a la red.

Qué se evalúa exactamente y quién pone las notas

Las tareas se construyen en torno a resultados reales del trabajo de un analista: cinco categorías, veinte subtipos, además de informes integrales y tareas de trading para pronosticar precio, rentabilidad o volatilidad. En total, el test incluye 86 tareas. Cada una se evalúa en tres líneas: calidad de la investigación, precisión del pronóstico y resultado hipotético de la inversión.

Cada requisito de los criterios de evaluación está vinculado a una fuente, un cálculo o una hipótesis mediante un grafo de dependencias financieras. Los expertos formulan la pregunta y los juicios, los agentes reúnen las pruebas, varios modelos revisan los borradores y los criterios definitivos los aprueban personas. Las respuestas de referencia y los criterios están ocultos para los agentes. En el artículo, GPT-6 Astra actúa como evaluador.

Los ejemplos muestran en qué fallan los modelos. En la tarea sobre Microsoft (O58), los ingresos de la nube no se pueden sumar como un cuarto segmento: ya están incluidos en los otros tres. En la tarea sobre AEP (N27), el aumento del flujo de caja operativo no implica que la compañía necesite menos financiación externa si se tienen en cuenta las inversiones y los ajustes. Hay una trampa similar en la refinanciación: la suma de caja, flujo y línea de crédito no utilizada parece suficiente hasta que se leen los covenants del préstamo.

Dónde fallan los modelos

Se probaron 11 sistemas. Tras GPT-6 Astra, con 68,1, viene Claude Opus 5.5, con 66,9. Desglose de Astra por habilidades:

• búsqueda y trabajo con evidencias: 78,9; • valoración y decisión de inversión: 77,6; • pronósticos y construcción de modelos: 52,5.

El orden cambia cuando se mira el desenlace y no el análisis. DeepSeek V4.1 Flash fue el que mejor acertó con los resultados reales de los pronósticos. Kimi K3, con una puntuación menor en investigación, obtuvo más rentabilidad hipotética que Opus. La puntuación global no indica qué modelo adivinará mejor el mercado.

Sobre los errores, los autores señalan que los modelos cuadran el balance de flujos de caja, pero distinguen mal entre una mejora real de la actividad operativa y movimientos de caja temporales. Ofrecen explicaciones y recomendaciones coherentes, pero no garantizan que las hipótesis, los estados contables y las cifras finales encajen en un modelo verificable. También hay problemas con el envío de la respuesta y con la recuperación tras errores. Parte de las discrepancias se debe a formulaciones imprecisas de los criterios y no a debilidad de los modelos.

La conclusión principal: el punto débil ha pasado del acceso a la información y la aritmética a la calibración de las hipótesis y la coherencia del modelo. Para los equipos que construyen agentes financieros, esto significa que conviene evaluar no solo el informe final, sino toda la cadena «fuente — hipótesis — cálculo — decisión». Y el futuro habrá que limitarlo a nivel de sistema, no con un filtro de fecha en la consulta.