Le modèle Inkling 2 Mini, 26 milliards de paramètres, tient un million de tokens dans 16 Gio au lieu de 96
Quand un réseau de neurones lit un long texte, il conserve des notes pour chaque token (fragment de mot) dans le cache KV, qui gonfle jusqu'à plusieurs dizaines de gigaoctets sur un million de tokens. Pour Inkling 2 Mini, 26 milliards de paramètres, ce cache occupe environ 16 Gio au lieu d'environ 96 au format fp8. La raison : sur 48 passages à travers les couches, seuls 8 conservent le cache complet, les autres ne regardent que les 1024 derniers tokens. Pour une exécution sur son propre matériel, cela représente une économie de mémoire d'un facteur six.
Traité par IA depuis X: @cheese_cakee_9 ; édité par Hamidun News
Imaginez qu'on demande à un modèle d'analyser un dépôt de code entier ou une correspondance annuelle : cela représente environ un million de tokens (un token correspond à peu près à un fragment de mot). Pour ne pas relire tout depuis le début à chaque étape, le modèle conserve des notes techniques pour chaque token. Cette mémoire s'appelle le cache KV, et c'est elle qui constitue généralement le plafond du long contexte : les poids tiennent en mémoire, mais le cache d'un million de tokens gonfle jusqu'à plusieurs dizaines de gigaoctets.
Thinking Machines a publié Inkling 2 Mini, 26 milliards de paramètres, et, selon l'analyse de l'architecture publiée sur X, son cache sur un million de tokens complet occupe environ 16 Gio (gibioctets, presque l'équivalent d'un gigaoctet) au lieu d'environ 96 Gio si chaque couche stockait tout. Le format de stockage est le fp8, soit 8 bits par nombre. Voici d'où vient ce facteur six.
Pourquoi une version Mini
L'entreprise explique qu'une partie des utilisateurs jugeait la précédente Inkling 2 Small trop lourde : elle compte 594 milliards de paramètres. La réponse est Inkling 2 Mini, un transformeur en boucle (looped transformer). Une partie de ses couches est parcourue plusieurs fois, au lieu de stocker des copies distinctes des poids.
Le modèle ne compte que 26 milliards de paramètres. L'entreprise affirme qu'il est assez petit pour fonctionner sur un ordinateur portable et qu'il convient à des tâches agentiques : son score à l'indice Artificial Analysis (AA Index) est de 20,1. La source ne dit pas comment il se situe face aux concurrents ; ce chiffre doit donc être considéré comme un repère, et non comme une preuve de qualité.
D'où viennent les 16 Gio au lieu de 96
Le calcul est le suivant. Le réseau compte 24 couches. Vingt d'entre elles fonctionnent avec une fenêtre glissante de 1024 tokens : chacune ne regarde que les 1024 derniers tokens, son cache reste donc minuscule et ne grandit pas avec le contexte. Les quatre autres couches, numérotées 5, 11, 17 et 23 (numérotation à partir de zéro), utilisent l'attention complète et gardent en mémoire l'intégralité du million de tokens.
Passons maintenant à la boucle. Les couches 11 et 17 se trouvent dans un bloc répété et sont exécutées trois fois chacune, tandis que les couches 5 et 23 ne le sont qu'une fois. On obtient 1 + 1 + 3 + 3 = 8 passages avec cache complet. Au total, il y a 48 passages à travers les couches : seul un passage sur six a donc besoin du cache complet.
Pour ces huit passages, au format fp8, on obtient environ 16 Kio par token (environ 2 Kio par passage). En multipliant par un million de tokens, on arrive à environ 16 Gio. Si les 48 passages stockaient le cache complet, on atteindrait environ 96 Gio. C'est la différence entre « il faut un GPU serveur » et « cela peut tenir dans la mémoire d'une station de travail puissante ».
À noter : la boucle permet d'économiser des paramètres, mais elle n'économise pas la mémoire nécessaire à l'attention complète. Dans cette analyse, chaque passage à travers une couche est compté séparément, si bien que les couches 11 et 17 comptent chacune trois fois. Ce qui réduit le cache, c'est la combinaison : la grande majorité des couches ne regarde qu'une fenêtre étroite.
Que faire de tout cela en pratique
Premièrement, pour une exécution en local, il faut compter non seulement les poids, mais aussi le cache. Les 26 milliards de paramètres au format fp8 représentent environ 26 Go (estimation approximative de notre part, que l'entreprise n'a pas communiquée), et le cache d'un million de tokens complet ajoute environ 16 Gio. Ainsi, « fonctionne sur un ordinateur portable » dépend de la mémoire de la machine concernée et de la longueur réelle du contexte : sur des requêtes courtes, le cache sera nettement plus petit.
Deuxièmement, le schéma « attention complète rare plus beaucoup de couches locales » semble une approche d'ingénierie efficace pour les longs contextes. Le risque en contrepartie : le modèle pourrait saisir moins bien les liens lointains dans un texte qu'un réseau à attention complète sur toutes ses couches. La source ne contient aucune vérification indépendante de la qualité sur un million de tokens : on dispose uniquement de l'affirmation de l'entreprise et d'un score à l'AA Index.
Troisièmement, pour les équipes produit, c'est un signal : les scénarios agentiques avec un long historique d'actions, de grands dépôts de code et des journaux deviennent progressivement accessibles aux appareils locaux. Mais avant de bâtir un produit sur Mini, mieux vaut attendre des tests indépendants sur de vraies tâches longues et la comparer aux modèles compacts d'autres laboratoires.
- 21 nov. 2026Inkling 2 Mini, ouverte, coûte six fois moins cher que Qwen3.8 27B : 0,59 $ contre 3,53 $ par tâche
- 21 nov. 2026Thinking Machines publie Inkling 2 Mini en open source : 26,4 milliards de paramètres pour un Mac de 32 Go
- 21 nov. 2026Inkling 2 Mini, ouverte et exploitable sur 16 Go de mémoire, rattrape Qwen3.8-27B dans un classement indépendant
- 22 nov. 2026Thinking Machines dévoile Inkling 2 Mini : un modèle pour portable six fois moins cher que Qwen3.8 27B
Questions clés sur cet article
Pourquoi une version Mini?
L'entreprise explique qu'une partie des utilisateurs jugeait la précédente Inkling 2 Small trop lourde : elle compte 594 milliards de paramètres. La réponse est Inkling 2 Mini, un transformeur en boucle (looped transformer). Une partie de ses couches est parcourue plusieurs fois, au lieu de stocker des copies distinctes des poids. Le modèle ne compte que 26 milliards de paramètres.
Que sait-on sur D'où viennent les 16 Gio au lieu de 96 ?
Le calcul est le suivant. Le réseau compte 24 couches. Vingt d'entre elles fonctionnent avec une fenêtre glissante de 1024 tokens : chacune ne regarde que les 1024 derniers tokens, son cache reste donc minuscule et ne grandit pas avec le contexte. Les quatre autres couches, numérotées 5, 11, 17 et 23 (numérotation à partir de zéro), utilisent l'attention complète et gardent en mémoire l'intégralité du million de tokens. Passons maintenant à la boucle.
Que sait-on sur Que faire de tout cela en pratique ?
Premièrement, pour une exécution en local, il faut compter non seulement les poids, mais aussi le cache. Les 26 milliards de paramètres au format fp8 représentent environ 26 Go (estimation approximative de notre part, que l'entreprise n'a pas communiquée), et le cache d'un million de tokens complet ajoute environ 16 Gio. Ainsi, « fonctionne sur un ordinateur portable » dépend de la mémoire de la machine concernée et de la longueur réelle du contexte : sur des requêtes courtes, le cache sera nettement plus petit.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.