Cola2 supera o Llama-3-8B no HellaSwag gastando 43 vezes menos tokens

Uma equipe de pesquisadores apresentou o Cola2, um framework de modelagem hierárquica de linguagem em que o significado vive em um espaço latente contínuo e o texto é montado por um decodificador discreto. Com 346,03 bilhões de tokens de origem, um checkpoint ainda não convergido alcançou média de 60,10 em oito tarefas e superou o Llama-3-8B no HellaSwag e no StoryCloze. O orçamento de pré-treinamento declarado do Llama-3 é mais de 43 vezes maior.

O que exatamente o espaço latente comprime

A ideia de geração hierárquica não é nova: primeiro o modelo planeja o significado em linhas gerais, depois o realiza em tokens. O ponto fraco é sempre o mesmo. Se os latentes comprimem a informação errada, ou a comprimem de forma inadequada, o decodificador ou os ignora ou vira uma simples fotocopiadora.

O Cola2 ataca o problema em várias frentes. O texto é dividido dinamicamente em spans semânticos, e não em blocos de tamanho fixo. O grau de compressão é regulado por realimentação negativa, sem losses auxiliares: o sistema ajusta sozinho o limiar, sem acrescentar termos de penalidade extras ao treinamento. Para que os latentes sejam compactos e, ao mesmo tempo, preditivos, os autores combinam dois sinais: a reconstrução do texto original e a geração convencional.

Decodificador de difusão e o equilíbrio entre cópia e autonomia

O decodificador é de difusão mascarada com causalidade em blocos. Ele é treinado sob três tipos de condição: com latentes limpos, com latentes ruidosos e com latentes totalmente descartados. Isso permite aplicar classifier-free guidance. Ao variar a intensidade do guidance, é possível deslocar o comportamento do modelo entre a recuperação fiel do significado a partir do latente e a geração autônoma.

Há ainda um detalhe de engenharia sobre o fluxo de gradientes. Os gradientes da predição de tokens passam pelos latentes até o codificador, e as representações se ajustam às necessidades do decodificador. Já o treinamento do prior com Flow Matching é desacoplado do treinamento das representações por stop-gradient. O prior aprende a prever os próximos latentes, mas não arrasta o codificador junto nem destrói o espaço que ele constrói.

A inferência também tem sua sutileza. O texto gerado é recodificado com a segmentação em spans fixa, para que o histórico de latentes corresponda ao contexto textual real, e não ao que o modelo "pensou" antes. Sem esse passo, os erros entre a parte contínua e a discreta se acumulariam de bloco em bloco.

Os números e o que merece cautela

• Orçamento de treinamento nos experimentos principais: cerca de 210 bilhões de tokens, cinco tarefas downstream.
• Escalabilidade: os autores a descrevem como competitiva e não saturada.
• Execução em maior escala: 346,03 bilhões de tokens de origem, com checkpoint ainda não convergido.
• Média nas oito tarefas: 60,10.
• Supera o Llama-3-8B no HellaSwag e no StoryCloze com orçamento de pré-treinamento mais de 43 vezes menor.

A comparação com o Llama-3-8B deve ser lida com cuidado. HellaSwag e StoryCloze medem a plausibilidade da continuação e o senso comum, justamente o que um modelo com uma camada explícita de estrutura semântica captura bem. Em benchmarks de conhecimento e raciocínio, o quadro pode ser outro, e, segundo o texto do artigo, a vitória é declarada em apenas duas das oito tarefas. Por outro lado, a curva de escalabilidade não chega a um platô, o que indica que o potencial com orçamentos maiores ainda não se esgotou.

Onde isso pode ser útil

Para quem constrói modelos, a conclusão prática é esta: a eficiência de dados pode ser buscada não só na arquitetura do transformer ou na curadoria do corpus, mas também no desenho da camada semântica intermediária. Se os latentes comprimem o texto em spans e o decodificador gera em blocos, o custo de inferência também pode cair, com menos passos por unidade de significado.

Para pesquisadores de modelos de linguagem baseados em difusão, o Cola2 oferece uma receita pronta para unir as partes contínua e discreta: realimentação negativa para a compressão, três modos de condição para o decodificador, stop-gradient para o prior e recálculo dos latentes durante a geração. Cada um desses elementos pode ser testado e transferido separadamente.

Para a indústria, é um sinal de que as alternativas ao esquema puramente autorregressivo ganham peso. Por enquanto, trata-se de um modelo na faixa da classe 8B e com treinamento inacabado. Mas, se a escalabilidade se confirmar em dezenas e centenas de bilhões de parâmetros, os modelos latentes hierárquicos podem se tornar um candidato sério ao passo seguinte após o next-token prediction clássico.