Inkling 2 Small: 68 horas de pré-treinamento são só a primeira etapa; depois vieram 9 dias de RL em 2048 GPUs

Quando o anúncio de um novo modelo diz «8,4 trilhões de tokens em 68 horas», dá vontade de recalcular imediatamente o orçamento para treinar o seu próprio modelo. Não se apresse. O número é honesto, mas se refere a apenas uma parte de um grande pipeline. Vamos entender o que exatamente a Thinking Machines Lab fez com o Inkling 2 Small e como interpretar esses números.

O que é o modelo e por que 68 horas é muito e pouco ao mesmo tempo

O Inkling 2 Small é um modelo de linguagem multimodal que a empresa apresentou em 5 de novembro de 2026. Ele tem 594 bilhões de parâmetros no total, mas usa uma arquitetura Mixture-of-Experts (MoE): para cada token, apenas uma parte dos «especialistas» é ativada, cerca de 17 bilhões de parâmetros, ou seja, aproximadamente 3% do modelo. O custo computacional por token é o de um modelo de porte médio, enquanto a capacidade de conhecimento é a de um gigante.

O pré-treinamento com 8,4 trilhões de tokens levou 68 horas, menos de três dias. Isso dá, em média, cerca de 34 milhões de tokens por segundo. Esse ritmo foi possível graças a duas coisas: os racks NVIDIA GB300 NVL72 e o formato de quatro bits NVFP4. Menos bits por número significa menos memória e menos tráfego entre os chips, além de multiplicações de matrizes mais rápidas. O outro lado da moeda é a precisão, por isso esses formatos exigem um ajuste cuidadoso do treinamento.

O que se esconde por trás da manchete

A principal ressalva do próprio anúncio: 68 horas são apenas a primeira etapa. Depois dela, houve mais três etapas de treinamento com dados adicionais. O que exatamente havia nesses dados e quanto tempo levaram não é revelado no trecho disponível do material, então não se deve concluir que o modelo inteiro foi «montado em três dias».

Em seguida veio o aprendizado por reforço (Reinforcement Learning): nove dias em 2048 GPUs e mais de 17 milhões de trajetórias. Uma trajetória é uma execução completa do modelo: ele recebe uma tarefa, age e, depois, seu resultado é avaliado. Dividindo 17 milhões por nove dias, chega-se a pelo menos 22 trajetórias por segundo, de forma contínua. Nessa etapa, o modelo aprende não apenas a continuar um texto, mas a levar tarefas até um resultado verificável: código, raciocínio, uso de ferramentas.

O quadro é típico do treinamento moderno. O pré-treinamento, barato e rápido, fornece a base, enquanto o custo real e a qualidade se constroem nas etapas finais, em que os dados são mais caros e o sinal é mais preciso. O início do artigo no Habr termina na frase «O modelo resultante obteve…», portanto os resultados finais de benchmarks não aparecem no trecho disponível. Confira-os na fonte original.

O que levar disso

Primeiro: compare modelos pelo ciclo completo, e não por um número vistoso. O tempo de pré-treinamento sem o número de GPUs, as etapas e o custo do RL diz pouco sobre os gastos.

Segundo: um MoE com pequena fração de parâmetros ativos é uma forma eficaz de obter um modelo grande sem aumento proporcional do custo computacional. Mas, na inferência, os 594 bilhões de parâmetros precisam ficar guardados na memória em algum lugar, então a economia diz respeito mais aos FLOPs do que ao volume de hardware.

Terceiro: o treinamento em quatro bits, a julgar por este lançamento, está saindo dos laboratórios e entrando em pipelines de produção. Se você planeja uma stack própria de pré-treinamento ou ajuste fino em hardware da classe Blackwell, vale ao menos testar o NVFP4.

E por último: o RL com milhões de trajetórias exige infraestrutura para gerá-las e verificá-las, e não apenas GPUs. É justamente aí que as equipes que tentam reproduzir o resultado mais costumam travar.