Départ 23/11Cohorte 3 en direct Vibe Coding & Agents IA : 3 semaines, 9 sessions liveCohorte 3 (23/11) →
SortieAnalyse · Sur le radarX: @cheese_cakee_9→ original

Le modèle Inkling 2 Mini, 26 milliards de paramètres, tient un million de tokens dans 16 Gio au lieu de 96

Quand un réseau de neurones lit un long texte, il conserve des notes pour chaque token (fragment de mot) dans le cache KV, qui gonfle jusqu'à plusieurs dizaines de gigaoctets sur un million de tokens. Pour Inkling 2 Mini, 26 milliards de paramètres, ce cache occupe environ 16 Gio au lieu d'environ 96 au format fp8. La raison : sur 48 passages à travers les couches, seuls 8 conservent le cache complet, les autres ne regardent que les 1024 derniers tokens. Pour une exécution sur son propre matériel, cela représente une économie de mémoire d'un facteur six.

Traité par IA depuis X: @cheese_cakee_9 ; édité par Hamidun News
Le modèle Inkling 2 Mini, 26 milliards de paramètres, tient un million de tokens dans 16 Gio au lieu de 96
Source : X: @cheese_cakee_9. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @cheese_cakee_9 ↗
Rédacteur en chef
Chiffre clé #1Attention complète seulement dans 4 des 24 couches ; les couches 11 et 17 sont parcourues 3 fois en boucle
Chiffre clé #2Les 20 autres couches ne regardent qu'une fenêtre de 1024 tokens
Chiffre clé #3Score de 20,1 à l'indice AA Index ; Inkling 2 Small compte 594 milliards de paramètres

Imaginez qu'on demande à un modèle d'analyser un dépôt de code entier ou une correspondance annuelle : cela représente environ un million de tokens (un token correspond à peu près à un fragment de mot). Pour ne pas relire tout depuis le début à chaque étape, le modèle conserve des notes techniques pour chaque token. Cette mémoire s'appelle le cache KV, et c'est elle qui constitue généralement le plafond du long contexte : les poids tiennent en mémoire, mais le cache d'un million de tokens gonfle jusqu'à plusieurs dizaines de gigaoctets.

Thinking Machines a publié Inkling 2 Mini, 26 milliards de paramètres, et, selon l'analyse de l'architecture publiée sur X, son cache sur un million de tokens complet occupe environ 16 Gio (gibioctets, presque l'équivalent d'un gigaoctet) au lieu d'environ 96 Gio si chaque couche stockait tout. Le format de stockage est le fp8, soit 8 bits par nombre. Voici d'où vient ce facteur six.

Pourquoi une version Mini

L'entreprise explique qu'une partie des utilisateurs jugeait la précédente Inkling 2 Small trop lourde : elle compte 594 milliards de paramètres. La réponse est Inkling 2 Mini, un transformeur en boucle (looped transformer). Une partie de ses couches est parcourue plusieurs fois, au lieu de stocker des copies distinctes des poids.

Le modèle ne compte que 26 milliards de paramètres. L'entreprise affirme qu'il est assez petit pour fonctionner sur un ordinateur portable et qu'il convient à des tâches agentiques : son score à l'indice Artificial Analysis (AA Index) est de 20,1. La source ne dit pas comment il se situe face aux concurrents ; ce chiffre doit donc être considéré comme un repère, et non comme une preuve de qualité.

D'où viennent les 16 Gio au lieu de 96

Le calcul est le suivant. Le réseau compte 24 couches. Vingt d'entre elles fonctionnent avec une fenêtre glissante de 1024 tokens : chacune ne regarde que les 1024 derniers tokens, son cache reste donc minuscule et ne grandit pas avec le contexte. Les quatre autres couches, numérotées 5, 11, 17 et 23 (numérotation à partir de zéro), utilisent l'attention complète et gardent en mémoire l'intégralité du million de tokens.

Passons maintenant à la boucle. Les couches 11 et 17 se trouvent dans un bloc répété et sont exécutées trois fois chacune, tandis que les couches 5 et 23 ne le sont qu'une fois. On obtient 1 + 1 + 3 + 3 = 8 passages avec cache complet. Au total, il y a 48 passages à travers les couches : seul un passage sur six a donc besoin du cache complet.

Pour ces huit passages, au format fp8, on obtient environ 16 Kio par token (environ 2 Kio par passage). En multipliant par un million de tokens, on arrive à environ 16 Gio. Si les 48 passages stockaient le cache complet, on atteindrait environ 96 Gio. C'est la différence entre « il faut un GPU serveur » et « cela peut tenir dans la mémoire d'une station de travail puissante ».

À noter : la boucle permet d'économiser des paramètres, mais elle n'économise pas la mémoire nécessaire à l'attention complète. Dans cette analyse, chaque passage à travers une couche est compté séparément, si bien que les couches 11 et 17 comptent chacune trois fois. Ce qui réduit le cache, c'est la combinaison : la grande majorité des couches ne regarde qu'une fenêtre étroite.

Que faire de tout cela en pratique

Premièrement, pour une exécution en local, il faut compter non seulement les poids, mais aussi le cache. Les 26 milliards de paramètres au format fp8 représentent environ 26 Go (estimation approximative de notre part, que l'entreprise n'a pas communiquée), et le cache d'un million de tokens complet ajoute environ 16 Gio. Ainsi, « fonctionne sur un ordinateur portable » dépend de la mémoire de la machine concernée et de la longueur réelle du contexte : sur des requêtes courtes, le cache sera nettement plus petit.

Deuxièmement, le schéma « attention complète rare plus beaucoup de couches locales » semble une approche d'ingénierie efficace pour les longs contextes. Le risque en contrepartie : le modèle pourrait saisir moins bien les liens lointains dans un texte qu'un réseau à attention complète sur toutes ses couches. La source ne contient aucune vérification indépendante de la qualité sur un million de tokens : on dispose uniquement de l'affirmation de l'entreprise et d'un score à l'AA Index.

Troisièmement, pour les équipes produit, c'est un signal : les scénarios agentiques avec un long historique d'actions, de grands dépôts de code et des journaux deviennent progressivement accessibles aux appareils locaux. Mais avant de bâtir un produit sur Mini, mieux vaut attendre des tests indépendants sur de vraies tâches longues et la comparer aux modèles compacts d'autres laboratoires.

Dossier

Questions clés sur cet article

Pourquoi une version Mini?

L'entreprise explique qu'une partie des utilisateurs jugeait la précédente Inkling 2 Small trop lourde : elle compte 594 milliards de paramètres. La réponse est Inkling 2 Mini, un transformeur en boucle (looped transformer). Une partie de ses couches est parcourue plusieurs fois, au lieu de stocker des copies distinctes des poids. Le modèle ne compte que 26 milliards de paramètres.

Que sait-on sur D'où viennent les 16 Gio au lieu de 96 ?

Le calcul est le suivant. Le réseau compte 24 couches. Vingt d'entre elles fonctionnent avec une fenêtre glissante de 1024 tokens : chacune ne regarde que les 1024 derniers tokens, son cache reste donc minuscule et ne grandit pas avec le contexte. Les quatre autres couches, numérotées 5, 11, 17 et 23 (numérotation à partir de zéro), utilisent l'attention complète et gardent en mémoire l'intégralité du million de tokens. Passons maintenant à la boucle.

Que sait-on sur Que faire de tout cela en pratique ?

Premièrement, pour une exécution en local, il faut compter non seulement les poids, mais aussi le cache. Les 26 milliards de paramètres au format fp8 représentent environ 26 Go (estimation approximative de notre part, que l'entreprise n'a pas communiquée), et le cache d'un million de tokens complet ajoute environ 16 Gio. Ainsi, « fonctionne sur un ordinateur portable » dépend de la mémoire de la machine concernée et de la longueur réelle du contexte : sur des requêtes courtes, le cache sera nettement plus petit.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…