O pré-pré-treinamento sintético de LLMs não compensa: com os mesmos FLOPs, perde para o texto comum

A ideia parece atraente: antes de alimentar um modelo de linguagem com terabytes de internet, dê a ele um «aquecimento» com estrutura pura. Autômatos celulares, linguagens com parênteses corretamente aninhados, sequências geradas proceduralmente. A suposição é que o modelo aprenderá antecipadamente padrões úteis e depois dominará mais rápido a linguagem real. Isso se chama pré-pré-treinamento sintético, ou PPT.

Um trabalho recente, Rethinking Pre-Pretraining (Alexander Stern, Tim Rocktäschel, Andrea Locatelli e Laura Ruis), testa essa ideia sem concessões. E mostra que a bela hipótese não sobrevive a uma contabilidade honesta.

Onde está o problema

A maioria dos artigos anteriores sobre PPT comparava modelos sem considerar quanto poder computacional foi gasto na etapa sintética. Os autores fixaram um orçamento total de FLOPs: se parte vai para dados sintéticos, sobra menos para o texto natural. Nesse regime, o PPT nunca superou o treinamento apenas com linguagem natural.

Um exemplo com números. Tomemos 100M de tokens do FineWeb e um orçamento de 1 × 10¹⁸ FLOPs. O treinamento comum com repetição do texto resulta em 1.064 bits por byte (BPB) na validação, onde menor é melhor. Se de 1% a 10% do poder computacional for destinado ao PPT, a métrica piora para 1.068–1.076. A diferença é pequena, mas a direção é inequívoca: você pagou com computação e saiu perdendo.

A explicação é simples. Quando o modelo passa para a linguagem natural, os gradientes rapidamente sobrescrevem as estruturas aprendidas nos dados sintéticos. É como aprender aberturas de xadrez e depois jogar damas por seis meses.

De onde vinham os sucessos anteriores

A parte mais interessante do trabalho é a análise de por que o PPT parecia útil. Os autores reproduziram o experimento com autômatos celulares (NCA) em um LLaMA de 400M de parâmetros com OpenWebText. O ganho de perplexidade do PPT com NCA foi de 5,4%.

Mas, se a inicialização dos embeddings for trocada de 𝒩(0, 1) para 𝒩(0, 0.02), o padrão para esses modelos, o baseline sem qualquer PPT melhora 9,0%. Isso anula por completo o benefício dos dados sintéticos. Ou seja, o PPT em grande parte corrigia uma inicialização ruim, em vez de acrescentar conhecimento ao modelo.

Além disso, os autores propuseram um corpus sintético para busca de valores de variáveis (DeclRef) e a ferramenta LLMTuna, um otimizador de hiperparâmetros baseado em LLM. O código de ambos os projetos está aberto no GitHub.

Limitações

As conclusões devem ser lidas com ressalvas. Todos os modelos têm menos de 1B de parâmetros, e não se sabe se o PPT se comporta da mesma forma em escalas de dezenas de bilhões. O teste com a inicialização do LLaMA e os experimentos de embaralhamento de dados foram feitos sem novo ajuste de hiperparâmetros, então parte do resultado pode mudar com um ajuste fino.

Vale destacar que este é um resultado negativo sobre uma classe específica de métodos. Ele não anula a utilidade dos dados sintéticos em geral, por exemplo no ajuste fino para código ou matemática.

O que fazer na prática

Se você treina seus próprios modelos, especialmente pequenos, as conclusões são estas:

• Não adicione uma etapa de PPT sintético ao seu pipeline «por precaução». Ela custa computação e, a julgar pelos dados, não compensa.
• Antes de acreditar em um ganho vistoso de um novo truque, verifique o básico: inicialização, learning rate, scheduler. Um baseline fraco cria facilmente a ilusão de progresso.
• Compare os métodos com o mesmo orçamento de FLOPs, e não com o mesmo número de passos ou de tokens de texto natural.

A principal lição vai além do tema: muitas «melhorias» em ML, na prática, tratam um baseline mal configurado. Se você não tem um grupo de controle forte com orçamento honesto, provavelmente está medindo não o método, mas as próprias falhas.