Inkling 2 Small obtient 31 points sur l'indice Artificial Analysis, pour $1,18 par tâche

Thinking Machines a lancé Inkling 2 Small, un modèle qui obtient 31 points sur l'indice composite du laboratoire indépendant Artificial Analysis. Cet indice agrège des dizaines de tests : connaissances, code, questions expertes complexes, travail en mode agent. Avec 31 points, le modèle gagne 18 points par rapport à l'Inkling Small précédent et atteint le même niveau que Gemini 3.

8 Flash (high) de Google DeepMind. Le second chiffre du titre, $1,18, correspond au coût moyen d'une tâche de l'indice : ce que vous payez si vous confiez à ce modèle une mission type et attendez le résultat final. À titre de comparaison, une tâche coûte $7,77 avec Gemini 3.

8 Flash (high) et $10,02 avec Claude Sonnet 5.5 (medium). Autrement dit : si vous choisissez un modèle pour un agent qui corrige du code, compile des rapports ou remplit des tableurs, un token bon marché ne garantit pas un travail bon marché, et c'est précisément un cas où le calcul par tâche joue en faveur du nouveau modèle.

Pour l'instant, Inkling 2 Small reste fermé : il n'est disponible que sur la plateforme Tinker de Thinking Machines et dans Tinker Playground. L'entreprise prévoit de publier plus tard les poids sous licence Apache 2.0, mais la date n'est pas confirmée. Si la promesse est tenue, ce sera, selon les classements actuels, le plus puissant des modèles ouverts conçus hors de Chine. Il devance par ailleurs MiMo-V2.6-Pro de Xiaomi. Il est trop tôt pour inclure la version ouverte dans vos plans.

Où le modèle excelle, où il décroche

Il s'agit d'un modèle de raisonnement de 594 milliards de paramètres, dont 17 milliards sont actifs pour chaque token. Il accepte du texte et des images en entrée, et répond en texte. Ce sont les tâches d'agent, où le modèle doit mener le travail à terme seul, qui progressent le plus :

• AutomationBench-AA, automatisation de processus métier : de 5% à 46%.
• FrontierCode 2.0, tâches de programmation complexes : de 5% à 25%, contre 11% pour Claude Sonnet 5.5 (medium).
• HLE-Diamond, questions de niveau expert : de 12% à 29%.
• AA-Briefcase, longs processus bureautiques avec tableurs, présentations et notes de service : 1527 Elo contre 912 pour la version précédente, 1439 pour Sonnet 5.5 et 1203 pour Gemini 3.8 Flash. La part de vérifications réussies passe de 20% à 50%.

Pour la création de scènes 3D interactives (AA-3D) et de vidéos générées par code (Code2Video-AA), le modèle dépasse Gemini 3.8 Flash, mais Claude Sonnet 5.5 reste devant dans les deux tests. Les points faibles existent aussi : sur Terminal-Bench 4.0, où l'agent travaille en ligne de commande, Inkling 2 Small obtient 13% contre 30% pour Sonnet 5.5. En physique de niveau recherche (CritPt v2), il atteint 56% contre 65% pour Gemini 3.8 Flash (high). Pour des modifications complexes dans un dépôt de code, le résultat est donc meilleur ; pour le travail dans un terminal, il est nettement moins bon.

Moins d'inventions, parce qu'il se tait plus souvent

Sur le test AA-Omniscience v1.1, le taux d'hallucinations passe de 61% à 27%. Mais la précision ne progresse que de 32% à 34%.

La raison principale est ailleurs : le modèle tente désormais de répondre à 53% des questions, contre 77% auparavant. Lorsqu'il n'est pas sûr de lui, il refuse plus souvent de répondre, et dit donc moins souvent des choses fausses. Le score final passe de −9 à 16, mais Gemini 3.

8 Flash (high) avec 23 et Sonnet 5.5 (medium) avec 19 restent au-dessus. Si, dans votre produit, une fausse réponse coûte plus cher qu'un refus, par exemple dans le support ou les renseignements juridiques, ce comportement est utile.

Si en revanche votre chatbot doit toujours répondre, il faudra traiter les refus séparément.

Pourquoi une réflexion coûteuse reste bon marché

En moyenne, Inkling 2 Small consomme environ 150 000 tokens de sortie par tâche de l'indice. La version précédente en utilisait environ 37 000, Sonnet 5.5 (medium) environ 31 000 et Gemini 3.8 Flash (high) environ 99 000. Le coût d'une tâche a ainsi presque été multiplié par 6 : de $0,20 à $1,18.

Les tarifs, eux, restent bas : $0,30 par million de tokens en entrée, $1,00 par million en sortie et $0,03 par million de tokens d'entrée en cache. C'est ce qui rend le modèle moins cher que ses voisins de score comparable, malgré une consommation de tokens énorme.

Que faire de ces résultats

Les équipes qui conçoivent des agents pour l'automatisation bureautique, les rapports et la génération d'interfaces gagneraient à tester leurs propres scénarios sur Inkling 2 Small et à comparer le prix d'une tâche terminée, pas celui du token. Les longs raisonnements augmentent la latence : pour des chats interactifs, le modèle risque donc d'être trop lent. Les chiffres proviennent des benchmarks d'Artificial Analysis et reflètent son jeu de tâches ; sur vos données, le résultat peut différer. Les poids ouverts intéresseront ceux qui veulent déployer le modèle en interne, mais il ne s'agit pour l'instant que d'une promesse sans date.