Seis agentes de IA previram o lucro por ação: três empataram com os analistas

O que acontece se você entregar a um modelo de linguagem um pacote de relatórios de uma empresa, a transcrição da teleconferência com investidores e notícias, e pedir que ele preveja o lucro por ação? Pesquisadores do Georgia Institute of Technology criaram o benchmark EPSBench para responder a essa pergunta. EPS (earnings per share) é o lucro líquido dividido pelo número de ações.

O teste usa a versão "diluída" pelo GAAP, ou seja, pelas regras padrão da contabilidade americana, sem os números "ajustados" que as empresas gostam de divulgar à parte. O benchmark cobre 149 balanços trimestrais de 86 grandes empresas dos EUA, de oito setores. Os anúncios foram divulgados de 2 de dezembro de 2025 a 24 de junho de 2026.

Seis modelos de quatro desenvolvedores foram comparados ao consenso dos analistas na mesma data. O resultado: três não se distinguem dos profissionais na precisão da previsão pontual e três erram de forma mais visível. Ao mesmo tempo, os seis demonstram confiança excessiva.

Previsão linha a linha do balanço, e não um número único

A ideia central está na estrutura da tarefa. Testes anteriores, como FutureX e FinDeepForecast, simplesmente pedem que o modelo informe o EPS, e o caminho até ele fica escondido no texto do raciocínio. O analista age de outra forma: primeiro a receita, depois as despesas, depois tudo o que vem abaixo. O EPSBench obriga o agente a trabalhar assim.

Para cada par "empresa — trimestre", os autores montam antecipadamente um esquema de três partes:

• base: valores das linhas do balanço no mesmo trimestre do ano anterior;
• drivers: ritmo de crescimento da receita, variação da participação do custo, crescimento das despesas operacionais, imposto, número de ações;
• grafo de identidades contábeis, que combina essas linhas no EPS final.

Para a Microsoft no terceiro trimestre do ano fiscal de 2026, os drivers são: crescimento da receita de produtos e de serviços, mudança na participação do custo, crescimento das despesas operacionais, outras despesas, imposto e número de ações. Os esquemas foram construídos por vários modelos em sequência. A verificação é simples: com os dados de um ano antes, o grafo reproduz o EPS real em 146 dos 149 esquemas com precisão de um centavo, e nos outros três com precisão de até quatro centavos.

O agente estima cada driver, indica em qual documento se apoia e envia os valores a uma calculadora compartilhada. Ela devolve a demonstração de resultados e o EPS final. O agente também informa os limites p10 e p90, isto é, declara um intervalo no qual, na opinião dele, o resultado real cairá com probabilidade de 80%. Como a aritmética fica por conta da calculadora, qualquer erro pode ser rastreado até uma linha e uma referência específicas.

Ambiente fechado e proteção contra consulta antecipada

O agente opera em um ambiente fixo. Ele tem acesso a três tipos de fonte, que obtém por meio de seis ferramentas em um servidor MCP:

• relatórios 10-K e 10-Q do site SEC EDGAR;
• transcrições de teleconferências do Seeking Alpha, onde costuma aparecer a projeção da gestão;
• notícias do CC-News.

Tudo é cortado no dia anterior à divulgação dos resultados. O servidor bloqueia o relatório e a teleconferência do trimestre-alvo. Notícias com data posterior ou desconhecida são descartadas. Shell, arquivos e internet ficam desativados na estrutura do agente. Cada configuração foi executada três vezes por tarefa, o que dá 447 execuções por modelo.

A precisão é medida pelo desvio em relação ao preço: o módulo da diferença entre a previsão e o valor real, dividido pelo preço da ação. Isso evita os problemas dos erros percentuais quando o EPS está próximo de zero. Os intervalos são avaliados pela taxa de acerto, pela largura e por uma métrica de intervalo que não melhora a menos que os limites sejam declarados com honestidade. Há três referências: o EPS de um ano antes, o EPS do trimestre anterior e o consenso dos analistas da base IBES.

Onde os modelos erram e o que fazer a respeito

Os resultados são estes:

• três modelos não se distinguem estatisticamente do consenso quanto ao erro da previsão pontual, e três perdem;
• os intervalos nominais de 80% cobriram o EPS real em apenas 37–70% das execuções em que o intervalo foi de fato retornado;
• a maioria dos erros fica acima do limite superior: as previsões saem subestimadas. O consenso dos analistas, aliás, também peca nisso;
• a diferença entre o trio forte e o trio fraco aparece nos trimestres em que o lucro se afasta muito do nível de um ano antes. Os líderes com mais frequência deslocam a estimativa o bastante e na direção certa;
• quase toda a diferença está nas linhas operacionais, ou seja, na estimativa do lucro operacional.

Há um detalhe específico sobre o GLM 4.5 Air, com janela de 128 mil tokens. Em 49 das 447 execuções, a estrutura do agente comprimiu o contexto para que tudo coubesse. Essas execuções foram avaliadas como estavam, e delas vêm todos os intervalos que o modelo deixou de retornar.

Os resultados complementares também são úteis. Notícias e relatórios trazem informações em parte diferentes. Trocar a estrutura do agente e a profundidade do raciocínio afeta mais a cobertura do intervalo do que a precisão do número em si.

A conclusão prática para quem constrói agentes financeiros: o que se deve extrair do modelo é a estrutura das premissas, e não um número único. Assim, fica claro em que etapa o erro entrou na previsão. Não se deve confiar nos intervalos declarados sem calibração. Se o agente diz "80%", o número real pode ser duas vezes menor. Os autores publicam os esquemas, as ferramentas, os prompts, os registros de previsões, as avaliações e as trajetórias dos agentes, de modo que as comparações podem ser reproduzidas.