Eternis-Forecaster 8B: sondas de ativações superam cadeias de raciocínio e economizam até 47% dos tokens

Em 10 de julho de 2026, pesquisadores publicaram no arXiv um trabalho mostrando que as previsões do modelo de linguagem Eternis-Forecaster 8B ficam "fixadas" antes mesmo de o raciocínio chain-of-thought começar. Além disso, as sondas de ativações intermediárias calibram melhor a confiança do modelo e preveem mudanças no comportamento dele em 84% dos casos, mesmo quando a cadeia de raciocínio em texto as esconde.

O que os pesquisadores descobriram

A equipe trabalhou com o Eternis-Forecaster 8B no benchmark OpenForesight, uma plataforma especializada em previsão probabilística. Sondas com representation pooling foram treinadas sobre as ativações intermediárias do modelo e mostraram calibração substancialmente melhor que a confiança embutida do próprio modelo. Os resultados se reproduziram no GLM-4.7-Flash e no GLM-4.5-Air, o que confirma que a abordagem é transferível.

Principais fatos:

• Modelos testados: Eternis-Forecaster 8B, GLM-4.7-Flash, GLM-4.5-Air
• Benchmark: OpenForesight (previsão probabilística)
• Precisão ao prever a direção das mudanças: 84% dos casos
• Economia de tokens no roteamento: 30–47% sem perda de precisão
• Método: representation pooling em camadas intermediárias do transformer

Por que não se deve confiar cegamente nas cadeias de raciocínio

Os autores avaliaram a "fidelidade" do CoT com dois métodos: remover do prompt fontes influentes e inserir informações distratoras. O padrão se mostrou consistente: remover uma fonte-chave frequentemente mudava a previsão final, mas o raciocínio em texto permanecia intacto. O modelo não mencionava a fonte que sumiu e se comportava como se ela nunca tivesse estado no contexto.

As sondas se comportaram de maneira fundamentalmente diferente. Suas ativações acompanhavam de forma confiável as mudanças de comportamento e previam a direção das alterações em 84% dos casos, inclusive quando o CoT escondia totalmente a perturbação. Isso faz das sondas de ativações uma ferramenta de auditoria bem mais confiável que o próprio CoT.

"As representações internas revelam o que o modelo realmente processa,

e não o que ele decide relatar" — conclusão que os autores tiram do conjunto de seus experimentos.

A previsão é fixada antes do raciocínio

O resultado de maior relevância prática: as respostas do modelo ficam "fixadas" antes de a cadeia de raciocínio começar. Uma única passada preliminar, sem gerar CoT, permite recuperar com precisão tanto a resposta final quanto o nível de confiança do modelo nela.

Isso abre uma aplicação direta: roteamento inteligente de consultas com base na dispersão da distribuição predefinida de respostas. Onde a resposta já é evidente no nível das ativações, dá para pular a geração de raciocínio, que é cara. A economia vai de 30% a 47% dos tokens, sem perda de precisão nas previsões finais.

O que isso significa

Sondas de representações internas dão acesso direto ao que o modelo realmente processa, sem passar pelo raciocínio em texto, que não é obrigado a refletir as causas reais da resposta. Para sistemas de previsão, isso significa um conjunto prático de ferramentas: calibração de confiança, auditoria da fidelidade do CoT e roteamento eficiente de consultas em um único método. Os autores consideram a abordagem aplicável não só a modelos de previsão, mas a uma classe mais ampla de modelos de raciocínio. Com o uso crescente de LLMs na tomada de decisões, é um passo importante rumo a sistemas em que as crenças internas do modelo podem ser medidas independentemente do que ele diz.

Perguntas frequentes

O que são sondas de ativações e por que são mais precisas que o

CoT?

Sondas de ativações são pequenos classificadores treinados nos estados intermediários de uma rede neural. Elas leem o "sinal interno" do modelo diretamente, sem passar pela saída em texto. Nos experimentos deste trabalho, sondas com representation pooling previram a previsão final do Eternis-Forecaster 8B e a direção de suas mudanças com mais precisão que o raciocínio CoT em texto.

O método se aplica a outros modelos e tarefas?

Os autores reproduziram a melhora de calibração no GLM-4.7-Flash e no GLM-4.5-Air, confirmando que a abordagem é transferível. O benchmark principal, OpenForesight, é específico de previsão probabilística; a aplicabilidade a outras tarefas e domínios exige verificação à parte.