AlphaBet enseña a un agente LLM a pronosticar eventos: el Brier mejora un 14,4%

Investigadores del equipo de Liqin Ye (el trabajo indica como afiliación el Georgia Institute of Technology) han lanzado AlphaBet, un framework de aprendizaje por refuerzo agéntico que convierte un modelo de lenguaje en un pronosticador de eventos reales. Tras el entrenamiento, el modelo base GLM-4.5-Air redujo su Brier score en el benchmark Forecast-Dojo de 0,731 a 0,626 y en FutureX, de 0,612 a 0,528. En términos relativos, la mejora es del 14,4% y del 13,7%. Un Brier más bajo significa que las probabilidades se ajustan mejor a los resultados reales. El código, los modelos y los datos están en acceso abierto.

Por qué un pronóstico no se puede entrenar con una selección de hechos

ya preparada

Pronosticar un evento que aún no ha ocurrido implica dos tareas: encontrar las evidencias relevantes y decidir hasta qué punto respaldan cada resultado posible. Muchos esquemas de entrenamiento de LLM pronosticadores basados en el resultado parten de materiales recopilados de antemano para una única fecha de predicción. Así, la búsqueda de evidencias queda fuera del ciclo de entrenamiento: el modelo aprende a ponderar lo que se le da, pero no a conseguir lo que necesita.

AlphaBet integra la búsqueda directamente en la política. Un solo modelo busca información, razona y emite probabilidades en varias fechas previas al desenlace del evento. Cada pronóstico fechado se evalúa con una regla de puntuación estricta (proper scoring rule) frente al resultado final. Así, una sola pregunta resuelta se convierte en fuente de señal para varios estados de información: un mes antes del evento, una semana antes, un día antes.

Dos brechas en el error de pronóstico

Los autores descomponen el regret del pronosticador en dos componentes:

• brecha de adquisición de evidencias: el modelo no encontró o no solicitó los datos necesarios;
• brecha de reporte de probabilidades: los datos se encontraron, pero el número de salida está mal calibrado.

Las ablaciones controladas muestran que la ganancia procede del entrenamiento en varias fechas y se compone de mejoras en ambas partes. El RL enseña al modelo a buscar mejor y a traducir con más precisión lo encontrado en porcentajes.

La trampa de la normalización en GRPO

Un resultado aparte afecta a Group Relative Policy Optimization. La implementación estándar normaliza la ventaja dentro del grupo de muestras por la desviación estándar de la recompensa. Los autores demuestran que, con reglas de puntuación estrictas multiclase, esa normalización puede distorsionar la distribución objetivo que el modelo debe reproducir al reportar probabilidades.

La evidencia empírica lo confirma. La normalización por std empeora la calidad según la puntuación estricta, mientras que la precisión al acertar el resultado más probable apenas cambia. El modelo sigue señalando al favorito correcto, pero reparte peor los porcentajes. Para las tareas en las que importa la calibración y no acertar un «sí/no», es una salvedad importante a la receta habitual.

Datos clave del trabajo

• Framework: AlphaBet, RL agéntico con una política única para la búsqueda, el razonamiento y el reporte probabilístico.
• Modelo base: GLM-4.5-Air.
• Forecast-Dojo: Brier 0,731 → 0,626, mejora del 14,4%.
• FutureX: Brier 0,612 → 0,528, mejora del 13,7%.
• Técnica clave: entrenamiento en varias fechas previas a la resolución del evento, con cada una evaluada mediante una regla de puntuación estricta.
• Marco teórico: descomposición del regret en brecha de evidencias y brecha de probabilidades.
• Hallazgo sobre GRPO: la normalización por desviación estándar empeora la puntuación estricta y casi no influye en la top-outcome accuracy.
• Disponibilidad: código en GitHub (AlphaBet-Agent/AlphaBet), modelos y datos en la colección liqinye/alphabet de Hugging Face, sitio del proyecto en alphabet-agent.github.io.

Autores del trabajo: Liqin Ye, Rongzhi Zhang, Xin Liu, Zheng Li, Yuan He, Qingyu Yin, Priyanka Nigam y Chao Zhang.

Qué deben hacer los profesionales con esto

Los equipos que construyen agentes para análisis, riesgos o expectativas de mercado deberían revisar su métrica. Si solo miden la proporción de respuestas correctas, no ven la calibración, y es justo la calibración lo que determina el valor de un pronóstico al tomar decisiones. El Brier u otra regla de puntuación estricta mostrará la diferencia que la accuracy oculta.

La segunda conclusión atañe al entrenamiento. Si entrena un agente con GRPO en tareas con salida probabilística, compruebe cómo influye la normalización por std en la calibración y compare variantes sin ella. La tercera: un mismo desenlace genera varios ejemplos de entrenamiento en distintas fechas. Es una forma barata de obtener más señal de un conjunto limitado de preguntas resueltas.

Los pesos y los datos abiertos permiten reproducir el resultado y compararlo con trabajos cercanos sobre el tema, por ejemplo Forecast-Dojo, con entornos reproducibles para entrenar pronosticadores, y las investigaciones sobre el entrenamiento conjunto de acción y pronóstico en agentes de lenguaje. Por ahora, las cifras se han obtenido con un solo modelo base y dos benchmarks, así que su extrapolación a otras LLM y dominios sigue pendiente de verificaciones independientes.