Desenvolvedor treina do zero um modelo de linguagem de 260M em uma RTX 4060 de 8 GB

A maioria das histórias sobre um "modelo próprio" acaba sendo, na prática, um fine-tuning de pesos alheios. Aqui é diferente. O autor da linha dpp-gpt fez tudo sozinho: tokenizador, pré-treino, SFT, RL e benchmarks. O hardware é uma RTX 4060 doméstica com 8 GB de memória. A versão mais recente, a 2.2 Pro, com 259 milhões de parâmetros, não supera os modelos pequenos profissionais, mas o projeto mostra bem como é um ciclo completo de treinamento sem o orçamento de um laboratório.

O que há por dentro e com o que foi treinado

A arquitetura é familiar para quem conhece o Llama: RMSNorm, RoPE, SwiGLU, GQA. O modelo tem 20 camadas, largura de 1024, contexto de 8192 tokens e vocabulário BPE próprio de 16 384 tokens, em que os dígitos são tokens separados. Idiomas: russo, inglês e francês.

O pré-treino consumiu cerca de 31 bilhões de tokens. A mistura foi montada com cuidado: Wikipédia em três idiomas (23%), texto da web do CulturaX, código em Python, matemática (14%), poesia, traduções e dados sintéticos para trabalho com texto.

A parte mais interessante é a matemática. Um script a gera, e a resposta é registrada por casas: centenas, dezenas, unidades e, por fim, o total. Cada exemplo é verificado em Python, então não há erros nos dados. Assim, o modelo aprende a calcular números de até 40 dígitos: ele repete o algoritmo em vez de adivinhar a resposta.

O conjunto de SFT cresceu para 60 milhões de tokens (cerca de 122 mil diálogos). Quase tudo foi gerado pelo DeepSeek via OpenRouter, e as respostas com números foram reconferidas por código. Os dados custaram aproximadamente 3000 rublos. Ao treinamento foram adicionados 32% de dados de pré-treino, para que o modelo não esquecesse a base.

RL em 8 GB: o que funcionou e o que quebrou

A versão final saiu do GRPO. Para cada prompt, o modelo escreve 8 respostas, recebe uma recompensa e aprende com a diferença dentro do grupo. A recompensa vem de código (aritmética, testes para Python, JSON, chamada de ferramentas) ou do juiz local Gemma 4 E4B, para redações, poemas e fatos.

Um truque útil é o ajuste de dificuldade. Se uma tarefa é sempre resolvida ou nunca é resolvida, as 8 respostas recebem a mesma recompensa e não há gradiente. Por isso, esses tipos de tarefa são sorteados com menos frequência, e aqueles em que o modelo acerta cerca de metade, com mais frequência.

Não faltou o clássico reward hacking. Nas primeiras rodadas, a recompensa para texto era calculada por código com base em sinais indiretos, e o modelo aprendeu a responder de forma curta. Redações e perguntas gerais ficaram prejudicadas. Foi preciso adicionar o juiz e reequilibrar o treinamento.

Quando os problemas óbvios acabaram, o progresso estagnou: cada novo checkpoint ganhava em algum ponto e perdia em outro. Ajudou uma simples média de pesos: 0,4 · GRPO8 + 0,3 · GRPO9 + 0,3 · GRPO5. Essa "sopa" ficou melhor do que qualquer um dos checkpoints.

Outro contratempo: o SFT derrubou a matemática. No benchmark próprio, o modelo base tinha 47,6%; após o primeiro SFT, 26%; após o ajuste da mistura, 36,8%.

Os números, sem maquiagem

No conjunto próprio de 2450 perguntas, a média subiu de 8,3 (versão 2.15) para 24,2. O modelo lidera em aritmética e chamada de ferramentas, mas, na média, fica apenas no nível do Falcon-H1-Tiny 100M e atrás do Gemma 3 270M. Ressalva do autor: o conjunto foi feito para os formatos dele e favorece o modelo.

Nos testes em inglês mais usados, o quadro é mais fraco. HellaSwag: 28,9%, contra 39,3% do Gemma 3 270M e 42,9% do SmolLM2 135M. GSM8K: 1,8%, IFEval: 14,1%. A base sem SFT marca os mesmos 28,8% no HellaSwag, o que indica que o teto é definido pelo pré-treino: 31 bilhões de tokens contra trilhões. O RL não mexeu nesses testes; o ganho dele está em aritmética, ferramentas, JSON e instruções.

Os pontos fracos também foram apontados: a multiplicação de números de 5 a 6 dígitos sai correta em cerca de 30% dos casos, o modelo perde a conta entre mensagens, obedece mal a comandos como "responda com uma palavra", e o modo "com raciocínio" ainda não ajuda. A chamada de ferramentas só funciona no formato em que o modelo foi treinado.

O que tirar disso

Primeiro: para tarefas estreitas (saída estruturada, chamada de funções, aritmética), dados sintéticos verificáveis e recompensa por código trazem ganho visível mesmo em um modelo minúsculo. Segundo: se a recompensa de RL tem um ponto fraco, o modelo o encontra, então são necessárias verificações variadas e um juiz. Terceiro: a média de pesos de checkpoints próximos custa quase nada e pode dispensar a busca pelo "melhor". E quarto: em conhecimento geral, um modelo pequeno com orçamento reduzido de tokens não é concorrente. Os próximos passos do autor são uma versão flash de 140M com a fatia de Python corrigida e um vocabulário maior com atenção local para acelerar o modelo.