ECHO ensina LLMs a prever tokens à frente sem módulos extras e com metade do custo do MTP

A equipe por trás do ECHO propõe uma forma de treinar um modelo de linguagem para prever vários tokens à frente sem cabeças ou módulos separados. A camada final do próprio modelo prevê cada horizonte. O custo adicional de treinamento é metade do que se paga no multi-token prediction treinado em cada profundidade. O ganho de acurácia em tarefas downstream se concentra em raciocínio e código. Na inferência, o mesmo modelo atua como seu próprio drafter para decodificação especulativa.

Onde o MTP clássico falha

Por construção, os métodos de multi-token prediction são auxiliares. A perda multi-horizonte treina principalmente os módulos conectados ao backbone. Cada novo horizonte significa mais um módulo e mais uma passada. Quanto mais longe se quer enxergar no futuro, mais caro fica o pré-treino. Os autores apontam ainda um segundo efeito: os módulos auxiliares saturam, e a profundidade adicional deixa de se converter em qualidade.

Essa abordagem também tem um lado negativo na inferência. Drafters treinados depois do modelo perdem a consistência com o modelo-alvo em geração aberta de alta entropia, justamente onde a aceleração é mais necessária.

Como funciona o ECHO

A ideia é tornar a previsão do futuro parte da própria tarefa autorregressiva, e não um acessório. A camada final do backbone prevê todos os horizontes. A supervisão chega exatamente aos parâmetros que geram o próximo token.

O custo das profundidades maiores é tratado pelo Dynamic Depth Sampling (DDS). A cada passo de treinamento, a profundidade é sorteada, com probabilidades que diminuem conforme a profundidade aumenta. Os horizontes curtos são treinados com frequência, os profundos com menos, mas o modelo ainda assim passa por eles. É o DDS que gera a economia de metade do custo adicional do MTP treinado em cada profundidade.

O que os autores afirmam

O resumo do artigo não traz tabelas com métricas absolutas, então abaixo está apenas o que ele diz:

• Custo de treinamento: metade do custo adicional do MTP treinado em cada profundidade.
• Pré-treino: a profundidade adicionada se converte em acurácia em tarefas downstream justamente onde os módulos auxiliares saturam. O efeito se concentra em raciocínio e código.
• Inferência: o modelo pré-treinado é seu próprio drafter e consegue prever mais fundo do que foi treinado.
• Consistência entre draft e alvo: se mantém em geração aberta de alta entropia, onde drafters post-hoc a perdem.
• Robustez: a vantagem permanece com o dobro do orçamento de tokens, com uma nova execução do pré-treino e depois do supervised finetuning.

O último ponto é importante: efeitos observados no pré-treino costumam se dissolver após o ajuste fino ou com outro seed. Os autores afirmam que isso não aconteceu aqui. Só é possível verificar essa afirmação no texto completo do artigo.

O que verificar na prática

Para equipes que fazem pré-treino dos próprios modelos, o ECHO é interessante como forma de obter um sinal denso dos tokens futuros sem aumentar o número de módulos. Nesse esquema, não é preciso um drafter adicional para decodificação especulativa: ele já está embutido nos pesos. Isso simplifica o deploy, porque não é necessário treinar, versionar e sincronizar separadamente um segundo modelo.

Antes de levar a abordagem para o seu pipeline, é preciso esclarecer alguns pontos. Quais tamanhos de modelo e quais orçamentos de tokens foram usados. Como é a aceleração real em tokens por segundo, e não apenas a qualidade. Qual é a taxa de aceitação de tokens do rascunho em diálogos abertos. Como foi escolhida a distribuição de probabilidades no DDS e quão sensível ela é à configuração. Nada disso consta no resumo.

Se os resultados se confirmarem em escala, o efeito aparecerá em dois lugares ao mesmo tempo: na qualidade de código e raciocínio na etapa de pré-treino e no custo de inferência em geração livre longa. Por enquanto, trata-se de uma proposta de um grupo de pesquisa, sem reprodução independente, e convém encará-la como uma hipótese forte que ainda precisa ser testada com os seus próprios dados.