ECHO: previsões multipasso sem módulos extras e pela metade do custo do MTP

ECHO: previsão multipasso sem módulos auxiliares

Pesquisadores da Baidu (ernie-research) propuseram o ECHO, um método para embutir a previsão multipasso diretamente na espinha dorsal de um modelo de linguagem, eliminando a necessidade de módulos auxiliares separados. A abordagem custa a metade do paradigma padrão de previsão multipasso (MTP) e mostra um ganho expressivo em tarefas de raciocínio e geração de código.

As abordagens tradicionais de previsão multipasso funcionam como uma extensão acoplada ao modelo base: cada horizonte de previsão precisa de seu próprio módulo, cada módulo exige uma passagem separada pela rede, e treinar cada um deles é uma tarefa independente. O ECHO muda isso pela raiz: em vez de módulos auxiliares, a camada final da rede principal prevê diretamente todos os horizontes.

Os três componentes do ECHO

O método se baseia em três ideias-chave:

Uma camada final para todos os horizontes. Em vez de acoplar módulos para prever tokens a +1, +2, +3 passos adiante, o ECHO transfere toda essa lógica para a camada final da rede principal. A função objetivo atua diretamente sobre os parâmetros que geram o próximo token. O resultado: os ganhos continuam crescendo à medida que se adicionam horizontes, justamente onde os módulos auxiliares já tinham saturado há muito tempo.

Amostragem dinâmica de profundidade (DDS). A probabilidade de treinar no horizonte +1 é maior do que no +2, que por sua vez é maior do que no +3. Isso torna o treinamento em horizontes profundos viável em custo sem perder seus benefícios.

Extrapolação além do horizonte treinado. O modelo se mostra capaz de prever além daquilo para o qual foi treinado. Na inferência, isso permite que ele atue como seu próprio modelo de rascunho para a decodificação especulativa.

Resultados em quatro categorias de tarefas

Os maiores ganhos do ECHO aparecem nas categorias primárias: • Raciocínio — inferência lógica e análise multipasso • Geração de código — escrita de programas e algoritmos

Nas categorias secundárias o efeito é perceptível, porém mais modesto: • Perguntas e respostas (QA) — compreensão e busca de respostas • Múltipla escolha — seleção entre opções dadas

Após o finetuning supervisionado, os ganhos se estendem às quatro categorias. O método se mostra robusto: a vantagem se mantém com um orçamento de tokens dobrado e em execuções repetidas do pré-treinamento.

Implantação em produção

O ECHO já está implantado em produção na Baidu, em modelos a partir de 200 bilhões de parâmetros. Na inferência, o modelo gera seus próprios rascunhos, mantendo altas taxas de aceitação mesmo ao prever além da profundidade treinada. Isso elimina totalmente a necessidade de rascunhos auxiliares — a rede já está pronta para a decodificação especulativa acelerada, sem ajustes posteriores.