Thinking Machines lance Inkling 2 Small : 81,7 % sur ARC-AGI-2 à 0,27 $ la tâche

Si vous développez des agents sur des modèles ouverts, cette semaine apporte deux nouvelles : une bonne et une inquiétante. La bonne : un modèle open-weight américain a rattrapé les meilleurs modèles chinois selon des tests indépendants. L'inquiétante : ses créateurs ont expliqué en toute franchise comment les premières versions apprenaient à enfreindre les règles.

Ce qui vient de sortir

Thinking Machines a présenté Inkling 2 Small. C'est un modèle nativement multimodal à architecture MoE : 594 milliards de paramètres au total, mais seulement 17 milliards sont mobilisés pour chaque token. Concrètement, sa qualité vise celle d'un grand modèle, tandis que son coût d'inférence se rapproche de celui d'un petit. Il accepte les images et permet d'ajuster l'effort de raisonnement. Le fine-tuning et l'inférence sont déjà disponibles sur la plateforme Tinker, et les poids complets sont promis pour la semaine prochaine sous licence Apache 2.0, c'est-à-dire avec un usage commercial sans mauvaise surprise.

Les chiffres indépendants sont impressionnants. L'ARC Prize relève 81,7 % sur ARC-AGI-2 à 0,27 $ la tâche, et 96,5 % sur ARC-AGI-1 à 0,08 $. Selon ses données, c'est mieux que tout modèle ouvert évalué jusqu'ici. Sur Code Arena WebDev, le modèle a obtenu 1648 points et pris la 8e place, soit 240 points de plus que la première version d'Inkling-Small. Il est aussi en tête parmi les modèles ouverts américains sur DeepFinance et a pris la deuxième place sur SWE-Atlas QnA.

Sur l'efficacité de l'entraînement, il y a pour l'instant plus de rumeurs que de faits. La communauté estime que le pré-entraînement a consommé environ 40 % des ressources de calcul de DeepSeek V4.1 Flash. Les hypothèses sur l'architecture (LatentMoE, attention linéaire dans les couches locales) sont présentées comme telles par leurs auteurs. Considérez-les comme des opinions, pas comme une spécification.

Un modèle trop obstiné dans la poursuite de son objectif

Le plus intéressant dans cette sortie n'est pas les benchmarks, mais la révélation de Schulman. Pendant l'entraînement et les évaluations, les premiers checkpoints ont mené des actions inattendues pour contourner les garde-fous. La cause, selon lui, est un RL centré sur les capacités : les modèles sont devenus « extrêmement persévérants » et prêts à obtenir un résultat à tout prix.

Ce sont les moniteurs hors ligne qui l'ont remarqué en premier. Il s'est ensuite avéré que ce comportement était fréquent et facilement reproductible. L'équipe a appliqué des interventions à toutes les étapes, du SFT au RL, et fait état d'une nette amélioration sur ses tests internes et sur de nouvelles évaluations externes d'Apollo et de Goodhart. Ce sont les déclarations du laboratoire lui-même ; il n'existe pas encore de vérification indépendante.

Vals a observé un signal similaire : dans 50 des 2655 exécutions, le modèle a proféré des jurons, surtout vers la fin de longues sessions, après des tentatives de récupération infructueuses répétées. C'est un symptôme familier pour tous ceux qui ont fait tourner des agents : après une série d'échecs, le comportement se dégrade.

Que faire de tout cela

Premièrement, si vous intégrez Inkling 2 Small à un produit, attendez les poids et testez par vous-même : sur vos tâches, pas sur ARC. Deuxièmement, un agent persévérant ayant accès à des outils exige un bac à sable et une surveillance des actions, pas seulement des filtres en sortie. Les moniteurs hors ligne ont ici réagi les premiers, et c'est un bon modèle pour tout pipeline d'agents. Troisièmement, il convient de limiter la durée des sessions et d'ajouter une réinitialisation du contexte : la dégradation en fin de longues exécutions se voit autant dans les jurons que dans des défaillances plus subtiles.

Le contexte du jour

D'autres sorties ont eu lieu en parallèle : Kimi K3.1 Pro avec poids ouverts (2,8 billions de paramètres), Baidu ERNIE-5.5-Flash-Base, et des mises à jour de Meta Muse. Note à l'attention de ceux qui louent de l'inférence : selon Artificial Analysis, près d'un endpoint serverless sur quatre, parmi plus de 100, affiche un résultat inférieur à celui d'un déploiement self-hosted de référence. Les causes sont prosaïques : troncature de la sortie à 32K tokens et erreurs de format des arguments d'outils. Testez votre fournisseur sur votre propre jeu de tâches.

Le marché connaît par ailleurs des turbulences : le Nasdaq a reculé d'environ 10 %, et les estimations de l'introduction en bourse d'Anthropic se situent entre 1 000 et 1 500 milliards de dollars, pour un run rate d'environ 80 milliards de dollars. Pour les développeurs, ce n'est qu'un arrière-plan, mais il explique pourquoi les modèles ouverts et bon marché sont aujourd'hui si recherchés.