Thinking Machines Lab publie Inkling-Small : un MoE ouvert de 276B qui surpasse son modèle « enseignant »

Thinking Machines Lab a ouvert, le 2 août 2026, les poids d'Inkling-Small, un modèle multimodal à architecture Mixture-of-Experts de 276 milliards de paramètres au total, dont 12 milliards actifs. Quatre fois plus petit que l'Inkling d'origine (975B au total, 41B actifs), le nouveau modèle le surpasse sur la plupart des benchmarks clés de codage et de raisonnement.

En quoi Inkling-Small se distingue d'Inkling

Inkling-Small est un transformeur décodeur de 42 couches, doté d'une couche MoE parcimonieuse à la place des FFN standard. Chaque token est routé vers 6 experts parmi 256, plus 2 experts partagés, toujours actifs. L'attention combine des couches locales et des couches globales.

Le modèle est nativement multimodal et ne nécessite pas d'encodeur distinct :

• 276B de paramètres au total, 12B actifs à l'inférence
• Fenêtre de contexte de 1M de tokens, avec un niveau d'« effort » de réflexion réglable
• Entrées : texte, images (patchs de 40×40 pixels via un hMLP à quatre couches) et audio (spectrogrammes dMel, WAV 16 kHz, jusqu'à 2 minutes)
• Formats numériques : BF16, MXFP8 et NVFP4
• Licence Apache 2.0, poids publiés sur Hugging Face

Comment lancer Inkling-Small

Le checkpoint BF16 exige au minimum 600 Go de mémoire vidéo cumulée, soit 4× NVIDIA B300 ou 8× NVIDIA H200. La version quantifiée NVFP4 abaisse ce seuil à 180 Go : le mode W4A4 tourne sur une seule carte B300 (architecture SM100+ requise), le mode W4A16 sur deux H200.

Les environnements d'exécution pris en charge sont SGLang, vLLM, TokenSpeed, Unsloth et Hugging Face Transformers. Pouvoir tourner sur un seul GPU fait sortir un modèle de 276B de la catégorie « réservé aux grands laboratoires » : les startups peuvent louer une instance B300 unique, et les entreprises qui disposent déjà de clusters H200 évitent de nouveaux achats. Les secteurs régulés — finance, santé, assurance, télécoms — obtiennent une option à poids privés, sans dépendance à une API externe.

Sur quels tests Inkling-Small dépasse-t-il Inkling

Inkling-Small surpasse son « enseignant » sur la plupart des tests clés. Sur Humanity's Last Exam (version texte), elle obtient 31,6 % contre 29,7 % pour Inkling. Sur SWE-bench Verified, 80,2 % contre 77,6 % (harnais bash-only). Sur Toolathlon Verified, 54,4 % contre 45,5 %. GPQA Diamond : 89,5 %, AIME 2026 : 95,5 %, ARC-AGI-2 : 40,1 % contre 36,5 %. Terminal-Bench 2.1 : 64,7 %.

Deux régressions nettes : SimpleQA Verified chute à 20,6 % contre 43,9 % pour Inkling, et Tau 3 Banking à 15,5 % contre 23,7 %. Les performances multimodales restent proches de celles de l'enseignant : MMMU Pro à 74,0 %, VoiceBench à 90,1 %, MMAU à 77,0 %, selon Artificial Analysis, Scale AI et ARC Prize.

«

Le modèle ne crée pas d'avantage substantiel par rapport à l'écosystème existant de modèles à poids ouverts », résume Thinking Machines Lab dans la fiche d'Inkling-Small, en recommandant d'ajouter une modération en aval — par exemple Llama Guard — dans les applications grand public.

Ce que cela signifie

Inkling-Small montre qu'une distillation dirigée, avec Inkling comme enseignant, associée à deux semaines d'apprentissage par renforcement sur le codage agentique, permet à un modèle compact de surpasser son prédécesseur plus grand. Les poids ouverts sous Apache 2.0 rendent un agent de 276B déployable en local, et élargissent le cercle des entreprises capables de bâtir des produits sans dépendre d'API fermées.

Questions fréquentes

De combien de mémoire vidéo Inkling-Small a-t-il besoin ?

Au minimum 180 Go de VRAM en mode quantifié NVFP4, sur une seule carte B300 (SM100+). La pleine précision BF16 exige 600 Go cumulés — par exemple 4× NVIDIA B300 ou 8× NVIDIA H200.

En quoi

Inkling-Small fait-il mieux que l'Inkling d'origine ?

Sur six benchmarks clés : SWE-bench Verified (80,2 % vs 77,6 %), GPQA Diamond (89,5 %), AIME 2026 (95,5 %), ARC-AGI-2 (40,1 % vs 36,5 %), Toolathlon Verified (54,4 % vs 45,5 %) et HLE — 31,6 % contre 29,7 %. Il fait moins bien sur SimpleQA Verified (20,6 % vs 43,9 %) et Tau 3 Banking (15,5 % vs 23,7 %).