Seis agentes de IA predijeron el beneficio por acción: tres igualaron a los analistas

¿Qué ocurre si se le da a un modelo de lenguaje un paquete de informes de una empresa, la transcripción de la llamada con inversores y noticias, y luego se le pide que prediga el beneficio por acción? Investigadores del Georgia Institute of Technology crearon para ello el benchmark EPSBench. EPS (earnings per share) es el beneficio neto dividido entre el número de acciones.

Se toma la versión «diluida» según GAAP, es decir, según las reglas estándar de contabilidad de Estados Unidos, sin las cifras «ajustadas» que a las empresas les gusta presentar por separado. La prueba abarca 149 informes trimestrales de 86 grandes empresas estadounidenses de ocho sectores. Los anuncios se publicaron entre el 2 de diciembre de 2025 y el 24 de junio de 2026.

Seis modelos de cuatro desarrolladores se compararon con el consenso de analistas en la misma fecha. Resultado: tres no se distinguen de los profesionales en la precisión de la predicción puntual y tres se equivocan más. Además, los seis tienen demasiada confianza en sí mismos.

Predicción por partidas del informe, no con una sola cifra

La idea central está en cómo se plantea la tarea. Pruebas anteriores como FutureX y FinDeepForecast simplemente piden que se dé el EPS, y el camino hasta esa cifra queda dentro del texto del razonamiento del modelo. El analista actúa de otro modo: primero los ingresos, luego los gastos y después todo lo que viene por debajo. EPSBench obliga al agente a trabajar igual.

Para cada par «empresa — trimestre», los autores preparan de antemano un esquema de tres partes:

• base: los valores de las partidas del informe del mismo trimestre un año antes;
• drivers: ritmo de crecimiento de los ingresos, cambio en la proporción del coste de ventas, crecimiento de los gastos operativos, impuestos y número de acciones;
• un grafo de identidades contables que ensambla esas partidas en el EPS final.

Para Microsoft en el tercer trimestre del año fiscal 2026, los drivers son estos: crecimiento de los ingresos por productos y por servicios, variación de la proporción del coste de ventas, crecimiento de los gastos operativos, otros gastos, impuestos y número de acciones. Los esquemas los construyeron varios modelos por turnos. La comprobación es sencilla: con los datos de hace un año, el grafo reproduce el EPS real con precisión de un centavo en 146 de los 149 esquemas, y de hasta cuatro centavos en los otros tres.

El agente estima cada driver, indica en qué documento se apoya y envía los valores a una calculadora común. Esta devuelve la cuenta de resultados y el EPS final. Además, el agente indica los límites p10 y p90, es decir, declara un intervalo en el que, a su juicio, caerá el resultado real con una probabilidad del 80 %. La aritmética la hace la calculadora, así que cualquier error puede rastrearse hasta una partida concreta y un enlace concreto.

Un entorno cerrado y protección contra las filtraciones

El agente trabaja en un entorno fijo. Tiene acceso a tres tipos de fuentes, que obtiene mediante seis herramientas en un servidor MCP:

• informes 10-K y 10-Q del sitio SEC EDGAR;
• transcripciones de llamadas de Seeking Alpha, donde suele darse la previsión de la dirección;
• noticias de CC-News.

Todo se recorta al día anterior a la publicación de resultados. El servidor bloquea el informe y la llamada del trimestre objetivo. Las noticias con fecha posterior o desconocida se descartan. En el entorno del agente están desactivados el shell, los archivos e internet. Cada configuración se ejecutó tres veces por tarea, de modo que cada modelo acumula 447 ejecuciones.

La precisión se mide con la desviación respecto al precio: el valor absoluto de la diferencia entre la predicción y el dato real, dividido entre el precio de la acción. Así se evitan los problemas de los errores porcentuales cuando el EPS está cerca de cero. Los intervalos se evalúan por la proporción de aciertos, la anchura y una métrica de intervalo que no se puede mejorar si no se declaran los límites con honestidad. Las referencias son tres: el EPS de hace un año, el EPS del trimestre anterior y el consenso de analistas de la base IBES.

Dónde fallan los modelos y qué hacer al respecto

Los resultados son estos:

• tres modelos no se distinguen estadísticamente del consenso en el error de la predicción puntual y tres quedan por detrás;
• los intervalos nominales del 80 % cubrieron el EPS real solo en el 37–70 % de las ejecuciones en las que se devolvió un intervalo;
• la mayoría de los fallos queda por encima del límite superior: las predicciones resultan bajas. El consenso de analistas, por cierto, también peca de esto;
• la brecha entre el trío fuerte y el débil se abre en los trimestres en los que el beneficio se aleja mucho del nivel de hace un año. Los líderes suelen mover la estimación lo bastante lejos y en la dirección correcta;
• casi toda la diferencia está en las partidas operativas, es decir, en la estimación del beneficio operativo.

Un detalle aparte afecta a GLM 4.5 Air, con una ventana de 128 mil tokens. En 49 de sus 447 ejecuciones, el entorno comprimió el contexto para que todo cupiera. Esas ejecuciones se evaluaron tal cual, y de ellas proceden todos sus intervalos omitidos.

Las conclusiones secundarias también son útiles. Las noticias y los informes aportan información en parte distinta. Cambiar el entorno del agente y la profundidad del razonamiento mueve más la cobertura del intervalo que la precisión de la propia cifra.

La conclusión práctica para quienes construyen agentes financieros: de un modelo hay que extraer la estructura de supuestos, no un solo número. Así se ve en qué paso entró el error en la predicción. No se puede confiar en los intervalos declarados sin calibrarlos. Si el agente dice «80 %», la cifra real puede quedar a la mitad. Los autores publican los esquemas, las herramientas, los prompts, los registros de predicciones, las evaluaciones y las trayectorias de los agentes, de modo que las comparaciones pueden reproducirse.