Nous Research acelera em 2,5 vezes o pré-treinamento de LLMs sem mudar a arquitetura

A Nous Research desenvolveu o Token Superposition Training (TST), um método inovador de pré-treinamento em duas fases que reduz em 2,5 vezes o tempo de treinamento de grandes modelos de linguagem com o mesmo custo computacional, sem exigir nenhuma mudança na arquitetura, no tokenizador ou no comportamento na inferência.

Como funciona o Token Superposition Training

O método parte de uma ideia simples, mas eficaz: na primeira fase do pré-treinamento, os embeddings de tokens vizinhos são promediados em grupos, ou sacolas (bags). Em vez de prever cada token separadamente, o modelo trabalha com representações agregadas das sequências. Isso permite processar a informação em blocos maiores e acelerar bastante o cálculo dos gradientes durante a retropropagação do erro. Na prática, a primeira fase ensina o modelo a encontrar padrões em um nível mais alto de abstração.

A segunda fase é um pouco mais curta. O modelo passa para a previsão padrão do próximo token, como qualquer LLM faz normalmente. Nessa etapa, ele se adapta rapidamente à tarefa final e recupera possíveis perdas de qualidade que tenham surgido na primeira fase. A transição entre as fases é suave e natural para uma arquitetura de rede neural, sem artefatos estranhos nem incompatibilidades.

A principal vantagem do TST é não mexer na arquitetura interna do modelo. O número de parâmetros permanece o mesmo, e as ferramentas e o ecossistema ao redor não mudam: mesmo número de pesos, mesmo tokenizador, mesmo otimizador, seja Adam, SGD ou outro. Na inferência, o modelo é totalmente compatível com os sistemas de implantação existentes. Isso é crucial para o uso industrial, em que trocar a arquitetura pode exigir reescrever muito código.

Em quais modelos a nova técnica foi testada

A Nous Research testou o TST em modelos de diferentes escalas e arquiteturas para confirmar a universalidade da abordagem:

• 270M de parâmetros (minimodelos para experimentos rápidos)
• 600M de parâmetros (tamanho padrão para projetos de pesquisa)
• 3B de parâmetros (arquitetura densa, dense models)
• 10B de parâmetros com arquitetura MoE (Mixture of Experts)

Em todas essas escalas, o método apresentou aceleração consistente de 2,5 vezes com o mesmo custo computacional, medido em FLOP (floating point operations). Os resultados são animadores: não é um truque de laboratório que funciona só em um tamanho de modelo ou arquitetura específicos, mas uma abordagem universal que escala bem. Ou seja, pode ser aplicada de forma ampla.

Por que isso importa para a indústria

O pré-treinamento de LLMs é a etapa mais intensiva em recursos e mais cara do desenvolvimento de modelos. Treinar um único modelo grande exige milhares de horas de clusters de GPU, e os gastos com eletricidade e hardware chegam a milhões de dólares. Uma aceleração de 2,5 vezes não é apenas uma melhoria de 5-10%, mas uma redução séria e alcançável dos custos totais, com impacto direto na economia do desenvolvimento.

Para startups e equipes pequenas, isso significa a possibilidade de treinar modelos de qualidade e competitivos com um orçamento inicial menor. Para grandes laboratórios como Meta*, Mistral ou OpenAI, significa poder experimentar muito mais variantes de arquitetura, hiperparâmetros e estratégias de treinamento na mesma infraestrutura. Isso amplia o espaço de experimentação, acelera o ritmo de inovação e permite testar ideias novas mais rápido.

O que isso significa

O Token Superposition Training mostra que, mesmo numa área tão estudada quanto o pré-treinamento, há maneiras simples e poderosas de economizar computação. Isso pode inspirar outros pesquisadores a buscar otimizações semelhantes em diferentes etapas do treinamento, da inicialização dos pesos aos learning rate schedules adaptativos. Para a indústria, é um sinal positivo de que a fronteira entre a pesquisa fundamental e a aplicação industrial está cada vez mais difusa, e de que boas ideias chegam rápido à produção.

*A Meta é considerada uma organização extremista e está proibida na Rússia.