Inkling 2 Small : 68 heures de pré-entraînement, ce n'est que la première étape, suivie de 9 jours de RL sur 2 048 GPU

Quand l'annonce d'un nouveau modèle affiche « 8,4 billions de tokens en 68 heures », on a envie de recalculer sur-le-champ le budget d'entraînement de son propre modèle. Pas si vite. Ce chiffre est honnête, mais il ne concerne qu'un segment d'une longue chaîne. Voyons ce que Thinking Machines Lab a réellement fait avec Inkling 2 Small et comment lire ce type de chiffres.

Quel est ce modèle, et pourquoi 68 heures, c'est à la fois beaucoup et peu

Inkling 2 Small est un modèle de langage multimodal que l'entreprise a présenté le 5 novembre 2026. Il compte au total 594 milliards de paramètres, mais il s'agit d'une architecture Mixture-of-Experts (MoE) : pour chaque token, seule une partie des « experts » est activée, soit environ 17 milliards de paramètres, c'est-à-dire à peu près 3 % du modèle. Le coût de calcul par token est celui d'un modèle de taille moyenne, tandis que la capacité de connaissance est celle d'un géant.

Le pré-entraînement sur 8,4 billions de tokens a pris 68 heures, soit moins de trois jours. Cela représente en moyenne de l'ordre de 34 millions de tokens par seconde. Ce rythme a été rendu possible par deux éléments : les racks NVIDIA GB300 NVL72 et le format quatre bits NVFP4. Moins de bits par nombre signifie moins de mémoire, moins de trafic entre les puces et des multiplications matricielles plus rapides. Revers de la médaille : la précision, c'est pourquoi ces formats exigent un réglage minutieux de l'entraînement.

Ce que cache le titre

La principale réserve figure dans l'annonce elle-même : les 68 heures ne représentent que la première étape. Elle a été suivie de trois autres étapes d'entraînement sur des données supplémentaires. La nature de ces données et la durée de ces étapes ne sont pas précisées dans l'extrait disponible ; il ne faut donc pas en conclure que le modèle entier a été « assemblé en trois jours ».

Vient ensuite l'apprentissage par renforcement (Reinforcement Learning) : neuf jours sur 2 048 GPU et plus de 17 millions de trajectoires. Une trajectoire est une exécution complète du modèle : il reçoit une tâche, agit, puis son résultat est évalué. Si l'on divise 17 millions par neuf jours, on obtient au moins 22 trajectoires par seconde en continu. À ce stade, le modèle apprend non plus simplement à poursuivre un texte, mais à mener les tâches jusqu'à un résultat vérifiable : code, raisonnement, utilisation d'outils.

On retrouve ainsi un schéma typique de l'entraînement moderne. Un pré-entraînement bon marché et rapide fournit la base, tandis que le coût réel et la qualité se construisent aux étapes tardives, où les données sont plus chères et le signal plus précis. Le début de l'article sur Habr s'arrête sur la phrase « Le modèle obtenu a atteint… » ; les résultats finaux des benchmarks ne figurent donc pas dans l'extrait disponible. Vérifiez-les auprès de la source primaire.

Ce qu'il faut en retenir

Premièrement : comparez les modèles sur le cycle complet, et non sur un chiffre spectaculaire. Le temps de pré-entraînement, sans le nombre de GPU, les étapes et le coût du RL, en dit peu sur les coûts réels.

Deuxièmement : un MoE avec une faible part de paramètres actifs est un moyen efficace d'obtenir un grand modèle sans hausse proportionnelle du coût de calcul. Mais en inférence, il faudra conserver les 594 milliards en mémoire quelque part ; l'économie concerne donc plutôt les FLOPs que l'encombrement matériel.

Troisièmement : l'entraînement en quatre bits, à en juger par cette sortie, quitte les laboratoires pour les pipelines de production. Si vous prévoyez votre propre pile de pré-entraînement ou de fine-tuning sur du matériel de classe Blackwell, NVFP4 mérite au minimum d'être testé.

Enfin : le RL sur des millions de trajectoires exige une infrastructure pour les générer et les vérifier, pas seulement des GPU. C'est là que butent le plus souvent les équipes qui tentent de reproduire le résultat.