SubQ Snap 1.2 passe de 68 à 73 points au Decision Index : elle dit plus souvent « je ne sais pas »
Le classement Decision Index vérifie si un modèle est fiable pour prendre des décisions : invente-t-il une réponse, et change-t-il de choix quand on reformule la question ? SubQ Snap 1.2 obtient 73 points contre 68 pour la version 1.1, et rejoint Drex Max v1.1 et GLiDE v1.2. La précision ne progresse pas (21 % et 9 %) : le modèle refuse plus souvent de répondre au hasard, si bien que la part de réponses sans invention passe de 85 % à 89 %. Pour des agents où l'erreur coûte cher, c'est un atout.
Traité par IA depuis X: @ArtificialAnlys ; édité par Hamidun News
Imaginez un agent qui choisit lui-même l'action à exécuter : valider un paiement, répondre à un client, clore un ticket. Dans ce cas, la précision moyenne d'un modèle dit peu de choses. Ce qui compte davantage, c'est qu'il n'invente pas de réponse lorsqu'il ne sait pas, et qu'il ne change pas sa décision si les mêmes options sont simplement reformulées autrement.
C'est précisément ce que mesure le laboratoire indépendant Artificial Analysis dans son classement Decision Index. Dans la version v2.1, le modèle SubQ Snap 1.
2 de la société Subquadratic obtient 73 points contre 68 pour la précédente SubQ Snap 1.1, soit 5 points de plus, et rejoint les leaders du classement des décisions. Mais le gain ne se situe pas là où on l'attend habituellement.
Ce que montre le classement
Deux concurrents, Drex Max v1.1 et GLiDE v1.2, ont également 73 points, et l'écart avec SubQ Snap 1.2 tient en 0,1 point. En pratique, trois modèles revendiquent la première place, et il est impossible de les départager sur le seul score du classement.
Le prix n'a pas changé : 0,04 $ par million de tokens d'entrée. La fenêtre de contexte atteint 384 000 tokens. L'amélioration arrive sans hausse de coût, ce qui compte si vous estimez le coût de traitement de grands volumes de texte.
Les deux sous-tests qui progressent le plus sont AA-Paperclip et AA-Symmetry, avec 8 points chacun.
D'où vient la hausse
AA-Paperclip évalue le travail sur des documents. On mesure la part de documents auxquels le modèle répond entièrement juste, sans la moindre erreur. Pour SubQ Snap 1.2, ce taux passe de 46 % à 62 %. Drex Max v1.1 affiche 63 % et GLiDE v1.2 62 % : sur ce point, les trois modèles sont pratiquement à égalité.
AA-Symmetry teste la robustesse : le modèle conserve-t-il la même décision et le même niveau de confiance lorsque la question change d'une manière qui ne devrait pas influer sur la réponse ? Exemple : vous demandez à un agent de choisir l'une de trois actions, puis vous reformulez ces trois actions avec d'autres mots. Un modèle fiable choisira la même chose. Dans le Decision Index v2.1, ce test a été mis à jour en version 1.1 : les options de réponse sont désormais intégrées à la description de la situation et reformulées avec le même sens. La tâche est devenue plus difficile, et SubQ Snap 1.2 a tout de même gagné 8 points.
La prudence plutôt que la précision
Les deux autres tests, AA-Omniscience-Decision et HLE-MultiChoice, sont les plus intéressants. Le nombre de bonnes réponses n'a pas augmenté : la précision reste à 21 % et 9 %. En revanche, la part de réponses sans invention a progressé, c'est-à-dire les cas où le modèle ne donne pas une réponse fausse avec assurance : de 85 % à 89 % dans le premier test, et de 46 % à 55 % dans le second.
La cause tient aux refus. Dans AA-Omniscience-Decision, le modèle accepte désormais de répondre à 29 % des questions, contre 33 % auparavant. Il admet plus souvent qu'il ne sait pas, et devine moins souvent à tort. Le classement compte cela comme une amélioration, car une réponse inventée est pénalisée plus lourdement qu'un refus honnête.
Que faire de ces résultats en pratique
Premièrement, regardez d'où vient la progression. Ces cinq points ne signifient pas que le modèle est devenu plus intelligent : une part notable du gain tient à la prudence. Pour les scénarios où une erreur est coûteuse (finance, médecine, documents juridiques, actions automatisées d'un agent), c'est une bonne nouvelle. Si, en revanche, vous avez besoin d'une réponse à chaque requête, cette prudence excessive vous gênera.
Deuxièmement, mesurez la part de refus sur vos propres données. Si le modèle répond à 29 % des questions au lieu de 33 %, le comportement de votre produit changera. L'interface doit savoir gérer le « je ne sais pas » : transmettre la question à un humain ou à un autre modèle.
Troisièmement, à scores égaux, comparez le prix, la vitesse et la longueur de contexte. Avec 0,04 $ par million de tokens d'entrée et une fenêtre de 384 000 tokens, SubQ Snap 1.2 apparaît comme un choix raisonnable pour le traitement en masse de longs documents.
Limites : il s'agit des benchmarks d'un seul analyste indépendant, et le test de robustesse vient d'être mis à jour. Il n'est donc pas possible de comparer directement les chiffres avec ceux des versions précédentes de l'indice. Sur une tâche réelle, les résultats peuvent différer. Avant de passer à la nouvelle version, testez-la sur votre propre jeu d'exemples.
- 21 nov. 2026Les offres FDE ont été multipliées par 4,6 en un an : ce que fait un ingénieur chez le client
- 21 nov. 2026Sakana AI crée un laboratoire appliqué pour modéliser les marchés et l'économie
- 21 nov. 2026Meta prépare Muse Charm, un tamagotchi IA à 300 $ avec un an de 5G Verizon
- 21 nov. 2026Dreamteam lève 53 M$ pour un CRM qui se remplit tout seul à partir des e-mails et des appels
Questions clés sur cet article
Que sait-on sur Ce que montre le classement ?
Deux concurrents, Drex Max v1.1 et GLiDE v1.2, ont également 73 points, et l'écart avec SubQ Snap 1.2 tient en 0,1 point. En pratique, trois modèles revendiquent la première place, et il est impossible de les départager sur le seul score du classement. Le prix n'a pas changé : 0,04 $ par million de tokens d'entrée. La fenêtre de contexte atteint 384 000 tokens. L'amélioration arrive sans hausse de coût, ce qui compte si vous estimez le coût de traitement de grands volumes de texte.
Que sait-on sur D'où vient la hausse ?
AA-Paperclip évalue le travail sur des documents. On mesure la part de documents auxquels le modèle répond entièrement juste, sans la moindre erreur. Pour SubQ Snap 1.2, ce taux passe de 46 % à 62 %. Drex Max v1.1 affiche 63 % et GLiDE v1.2 62 % : sur ce point, les trois modèles sont pratiquement à égalité. AA-Symmetry teste la robustesse : le modèle conserve-t-il la même décision et le même niveau de confiance lorsque la question change d'une manière qui ne devrait pas influer sur la réponse ?
Que sait-on sur La prudence plutôt que la précision ?
Les deux autres tests, AA-Omniscience-Decision et HLE-MultiChoice, sont les plus intéressants. Le nombre de bonnes réponses n'a pas augmenté : la précision reste à 21 % et 9 %. En revanche, la part de réponses sans invention a progressé, c'est-à-dire les cas où le modèle ne donne pas une réponse fausse avec assurance : de 85 % à 89 % dans le premier test, et de 46 % à 55 % dans le second. La cause tient aux refus.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.