Teste para analistas de IA: o líder fez 68 de 100, mas em previsões só 52,5

O Investor's Last Exam é um novo benchmark, ou seja, um conjunto de tarefas para comparar modelos. Ele foi criado por pesquisadores da Antai College of Economics and Management, da Universidade Jiao Tong de Xangai, em parceria com investidores experientes e gestores de fundos. A proposta é simples: dar a um agente de IA o trabalho de um analista que estuda uma empresa e decide onde aplicar o dinheiro, e verificar se ele consegue cumprir a tarefa sem espiar o futuro. O melhor sistema, o GPT-6 Astra, fez 68,1 de 100. Em previsões, porém, marcou apenas 52,5. Ou seja, os modelos aprenderam a ler relatórios e a redigir conclusões bem melhor do que a prever números.

Como trancar o agente no passado

O principal problema dos testes financeiros é o vazamento de informações do futuro. Normalmente, os dados são limitados por um filtro de data de publicação da página. Os autores mostram que isso não resolve. A data na página pode continuar antiga mesmo que o conteúdo tenha sido atualizado depois. Na tarefa da Tesla (número O74), o agente GPT-6 Astra enviou uma consulta com data anterior ao fim do trimestre e mesmo assim recebeu uma fonte de 2 de julho com as entregas reais de veículos do segundo trimestre.

Por isso, os autores montaram um corpus que guarda cada versão de um documento, sem sobrescrever nada. Em 15 de outubro de 2026, ele continha 3 430 336 versões e 1,52 TB de material. As fontes se dividem em nove categorias:

• relatórios financeiros; • tabelas estruturadas de resultados; • teleconferências com investidores sobre o resultado trimestral; • materiais para investidores; • eventos das emissoras; • projeções de analistas; • relatórios de pesquisa; • posições de investidores institucionais; • notícias.

Há ainda dados de mercado sobre preços, retorno e volatilidade. O corpus cobre os mercados dos EUA, da China continental e de Hong Kong.

Cada versão tem horário de surgimento, fuso horário e confirmação. Se não é possível estabelecer a data com segurança, o documento não entra nas tarefas. No caso de registros duvidosos, as datas foram primeiro estimadas e depois reverificadas por modelos atuais. A restrição vale para toda a cadeia: busca, leitura, download e cache verificam a disponibilidade da mesma forma. Os dados tabulares são congelados após a consulta, e edições posteriores não os alteram. O agente faz os cálculos em um ambiente isolado (sandbox), sem acesso à rede.

O que exatamente é avaliado e quem dá as notas

As tarefas se baseiam em produtos reais do trabalho de um analista: cinco categorias, vinte subtipos, além de relatórios abrangentes e tarefas de trading de previsão de preço, retorno ou volatilidade. No total, o teste tem 86 tarefas. Cada uma é avaliada em três eixos: qualidade da pesquisa, precisão da previsão e resultado hipotético do investimento.

Cada exigência dos critérios de avaliação está vinculada a uma fonte, a um cálculo ou a uma premissa por meio de um grafo de dependências financeiras. Os especialistas formulam a pergunta e os julgamentos, os agentes reúnem as evidências, vários modelos revisam os rascunhos e os critérios finais são aprovados por humanos. As respostas de referência e os critérios ficam fechados para os agentes. O avaliador no artigo é o GPT-6 Astra.

Os exemplos mostram onde os modelos tropeçam. Na tarefa da Microsoft (O58), a receita de nuvem não pode ser somada como um quarto segmento: ela já está incluída nos outros três. Na tarefa da AEP (N27), o crescimento do fluxo de caixa operacional não significa que a empresa precisará de menos capital externo, se forem considerados os investimentos e os ajustes. Há uma armadilha parecida no refinanciamento: a soma de caixa, fluxo e linha de crédito não utilizada parece suficiente até que se leiam os covenants do empréstimo.

Onde os modelos erram

Foram testados 11 sistemas. Depois do GPT-6 Astra, com 68,1, vem o Claude Opus 5.5, com 66,9. O desempenho do Astra por habilidade:

• busca e trabalho com evidências — 78,9; • avaliação e decisão de investimento — 77,6; • previsões e construção de modelos — 52,5.

A ordem muda quando se olha para o desfecho, e não para a análise. O DeepSeek V4.1 Flash foi o que mais se aproximou dos resultados reais das previsões. O Kimi K3, com nota menor em pesquisa, rendeu mais retorno hipotético do que o Opus. A nota geral não diz qual modelo tem mais chance de acertar o mercado.

Sobre os erros, os autores escrevem que os modelos fecham o balanço dos fluxos de caixa, mas separam mal a melhora real da atividade operacional das oscilações temporárias de caixa. Eles produzem explicações e recomendações coerentes, mas não garantem que premissas, estados contábeis e números finais componham um modelo verificável. Também há problemas no envio da resposta e na recuperação após erros. Parte das divergências vem de formulações imprecisas dos critérios, e não de fraqueza dos modelos.

A principal conclusão: o ponto fraco deixou de ser o acesso à informação e a aritmética e passou a ser a calibragem das premissas e a consistência do modelo. Para equipes que constroem agentes financeiros, isso significa que vale avaliar não só o relatório final, mas toda a cadeia «fonte — premissa — cálculo — decisão». E o futuro terá de ser bloqueado no nível do sistema, e não por um filtro de data na consulta.