AlphaBet ensina agente LLM a prever eventos: Brier 14,4% melhor

Pesquisadores da equipe de Liqin Ye (o trabalho indica o Georgia Institute of Technology) lançaram o AlphaBet, um framework de aprendizado por reforço agêntico que transforma um modelo de linguagem em um previsor de eventos reais. Depois do treinamento, o GLM-4.5-Air base reduziu o Brier score no benchmark Forecast-Dojo de 0,731 para 0,626 e, no FutureX, de 0,612 para 0,528. Em termos relativos, são 14,4% e 13,7%. Um Brier menor significa que as probabilidades correspondem melhor aos desfechos reais. Código, modelos e dados estão em acesso aberto.

Por que não dá para treinar previsão com um conjunto pronto de fatos

Prever um evento que ainda não aconteceu envolve duas tarefas: encontrar evidências relevantes e decidir o quanto elas sustentam cada desfecho. Muitos esquemas de treinamento de LLMs previsoras partem de materiais coletados previamente para uma única data de previsão. Com isso, a busca de evidências fica fora do ciclo de treinamento: o modelo aprende a ponderar o que recebe, mas não aprende a buscar o que precisa.

O AlphaBet incorpora a busca diretamente na política. Um único modelo busca informações, raciocina e emite probabilidades em várias datas anteriores à resolução do evento. Cada previsão datada é avaliada pelo desfecho final com uma regra de pontuação estrita (proper scoring rule). Uma única pergunta resolvida passa a gerar sinal para vários estados de informação: um mês antes do evento, uma semana antes, um dia antes.

Duas lacunas no erro de previsão

Os autores decompõem o regret do previsor em dois componentes:

• lacuna de aquisição de evidências: o modelo não encontrou ou não pediu os dados necessários;
• lacuna de relato das probabilidades: os dados foram encontrados, mas o número final está mal calibrado.

As ablações controladas mostram que o ganho vem do treinamento em várias datas e resulta de melhorias nas duas partes. O RL ensina o modelo a buscar melhor e a converter com mais precisão o que encontrou em porcentagens.

A pegadinha da normalização no GRPO

Um resultado à parte diz respeito ao Group Relative Policy Optimization. A implementação padrão normaliza a vantagem dentro do grupo de amostras pelo desvio-padrão da recompensa. Os autores mostram que, em regras de pontuação estritas multiclasse, essa normalização pode distorcer a distribuição-alvo que o modelo deve reproduzir ao relatar probabilidades.

Os experimentos confirmam isso. A normalização pelo desvio-padrão piora a qualidade medida pela pontuação estrita, enquanto a precisão ao acertar o desfecho mais provável quase não muda. O modelo continua apontando o favorito correto, mas distribui pior as porcentagens. Para tarefas em que a calibração importa mais do que acertar "sim/não", essa é uma ressalva relevante à receita habitual.

Principais dados do trabalho

• Framework: AlphaBet, RL agêntico com política única para busca, raciocínio e relato de probabilidades.
• Modelo base: GLM-4.5-Air.
• Forecast-Dojo: Brier 0,731 → 0,626, melhora de 14,4%.
• FutureX: Brier 0,612 → 0,528, melhora de 13,7%.
• Técnica central: treinamento em várias datas antes da resolução do evento, cada uma avaliada por uma regra de pontuação estrita.
• Base teórica: decomposição do regret em lacuna de evidências e lacuna de probabilidades.
• Achado sobre o GRPO: a normalização pelo desvio-padrão piora a pontuação estrita e quase não afeta a top-outcome accuracy.
• Disponibilidade: código no GitHub (AlphaBet-Agent/AlphaBet), modelos e dados na coleção liqinye/alphabet no Hugging Face, site do projeto em alphabet-agent.github.io.

Autores do trabalho: Liqin Ye, Rongzhi Zhang, Xin Liu, Zheng Li, Yuan He, Qingyu Yin, Priyanka Nigam e Chao Zhang.

O que as equipes podem tirar disso

Equipes que constroem agentes para análise, riscos ou expectativas de mercado devem rever suas métricas. Se você mede apenas a proporção de respostas corretas, não enxerga a calibração, e é ela que define o valor de uma previsão na tomada de decisões. O Brier, ou outra regra de pontuação estrita, mostra a diferença que a accuracy esconde.

A segunda conclusão diz respeito ao treinamento. Se você treina um agente com GRPO em tarefas com saída probabilística, verifique como a normalização pelo desvio-padrão afeta a calibração e compare com variantes sem ela. A terceira: um mesmo desfecho de evento gera vários exemplos de treinamento em datas diferentes. É uma forma barata de extrair mais sinal de um conjunto limitado de perguntas resolvidas.

Os pesos e os dados abertos permitem reproduzir o resultado e compará-lo com trabalhos próximos, como o Forecast-Dojo, com ambientes reproduzíveis para treinar previsores, e estudos sobre o treinamento conjunto de ação e previsão em agentes de linguagem. Por ora, os números vêm de um único modelo base e de dois benchmarks, então a transferência para outras LLMs e domínios continua dependendo de verificações independentes.