Thinking Machines Lab lança o Inkling-Small: modelo MoE aberto de 276B supera o próprio "professor"

Em 2 de agosto de 2026, a Thinking Machines Lab abriu os pesos do Inkling-Small, modelo multimodal com arquitetura Mixture-of-Experts, 276 bilhões de parâmetros totais e 12 bilhões ativos. Com tamanho quatro vezes menor que o do Inkling original (975B totais, 41B ativos), o novo modelo o supera na maioria dos principais benchmarks de programação e raciocínio.

Como o Inkling-Small se diferencia do Inkling

O Inkling-Small é um transformer decoder de 42 camadas, com uma camada MoE esparsa no lugar das FFNs padrão. Cada token é roteado para 6 de 256 especialistas, além de 2 especialistas compartilhados, sempre ativos. A atenção combina camadas locais e globais.

O modelo é nativamente multimodal e dispensa um encoder separado:

• 276B de parâmetros totais, 12B ativos na inferência
• Janela de contexto de 1M de tokens, com nível de "esforço" de raciocínio ajustável
• Entrada: texto, imagens (patches de 40×40 pixels processados por um hMLP de quatro camadas) e áudio (espectrogramas dMel, WAV a 16 kHz, até 2 minutos)
• Formatos numéricos: BF16, MXFP8 e NVFP4
• Licença Apache 2.0, com pesos publicados no Hugging Face

Como rodar o Inkling-Small

O checkpoint em BF16 exige no mínimo 600 GB de VRAM somados, o equivalente a 4× NVIDIA B300 ou 8× NVIDIA H200. A versão quantizada em NVFP4 reduz o piso para 180 GB: o modo W4A4 roda em uma única placa B300 (requer arquitetura SM100+), e o W4A16, em duas H200.

Os runtimes compatíveis são SGLang, vLLM, TokenSpeed, Unsloth e Hugging Face Transformers. O caminho com uma única GPU tira um modelo de 276B da categoria "só para grandes laboratórios": startups podem alugar uma instância com um B300, e empresas que já têm clusters de H200 não precisam fazer novas compras. Setores regulados, como finanças, saúde, seguros e telecom, ganham uma opção com pesos privados e sem dependência de uma API externa.

Em quais testes o Inkling-Small superou o Inkling

O Inkling-Small superou o "professor" na maioria dos testes principais. No Humanity's Last Exam (versão em texto), marca 31,6%, contra 29,7% do Inkling. No SWE-bench Verified, são 80,2% contra 77,6% (harness bash-only). No Toolathlon Verified, 54,4% contra 45,5%. No GPQA Diamond, 89,5%; no AIME 2026, 95,5%; no ARC-AGI-2, 40,1% contra 36,5%. No Terminal-Bench 2.1, 64,7%.

Há dois retrocessos evidentes: o SimpleQA Verified cai para 20,6%, ante 43,9% do Inkling, e o Tau 3 Banking, para 15,5%, ante 23,7%. Os resultados multimodais ficam próximos aos do "professor": MMMU Pro, 74,0%; VoiceBench, 90,1%; MMAU, 77,0%, segundo dados da Artificial Analysis, da Scale AI e do ARC Prize.

"O modelo não cria uma vantagem substancial em relação ao ecossistema existente de pesos abertos", resume a

Thinking Machines Lab no model card do Inkling-Small, recomendando adicionar moderação downstream, como o Llama Guard, em aplicativos de consumo.

O que isso significa

O Inkling-Small mostra que a destilação direcionada, com o Inkling como professor, somada a duas semanas de treinamento por RL em programação agêntica, permite que um modelo compacto supere o predecessor maior. Os pesos abertos sob Apache 2.0 tornam um agente de 276B acessível para implantação própria e ampliam o grupo de empresas que podem criar produtos sem depender de APIs fechadas.

Perguntas frequentes

Quanta VRAM o Inkling-Small exige?

No mínimo 180 GB de VRAM no modo quantizado NVFP4, em uma única placa B300 (SM100+). A precisão total em BF16 exige 600 GB somados, por exemplo 4× NVIDIA B300 ou 8× NVIDIA H200.

Em que o Inkling-Small é melhor que o Inkling original?

Em seis benchmarks principais: SWE-bench Verified (80,2% vs 77,6%), GPQA Diamond (89,5%), AIME 2026 (95,5%), ARC-AGI-2 (40,1% vs 36,5%), Toolathlon Verified (54,4% vs 45,5%) e HLE, com 31,6% contra 29,7%. Fica atrás no SimpleQA Verified (20,6% vs 43,9%) e no Tau 3 Banking (15,5% vs 23,7%).