Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarX: @ArtificialAnlys→ original

SubQ Snap 1.2 passe de 68 à 73 points au Decision Index : elle dit plus souvent « je ne sais pas »

Le classement Decision Index vérifie si un modèle est fiable pour prendre des décisions : invente-t-il une réponse, et change-t-il de choix quand on reformule la question ? SubQ Snap 1.2 obtient 73 points contre 68 pour la version 1.1, et rejoint Drex Max v1.1 et GLiDE v1.2. La précision ne progresse pas (21 % et 9 %) : le modèle refuse plus souvent de répondre au hasard, si bien que la part de réponses sans invention passe de 85 % à 89 %. Pour des agents où l'erreur coûte cher, c'est un atout.

Traité par IA depuis X: @ArtificialAnlys ; édité par Hamidun News
SubQ Snap 1.2 passe de 68 à 73 points au Decision Index : elle dit plus souvent « je ne sais pas »
Source : X: @ArtificialAnlys. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireX: @ArtificialAnlys ↗
Rédacteur en chef
Chiffre clé #1Part de documents entièrement corrects dans AA-Paperclip : de 46 % à 62 %
Chiffre clé #2Sur les questions AA-Omniscience-Decision, le modèle répond dans 29 % des cas contre 33 % auparavant
Prix0,04 $ par million de tokens d'entrée, fenêtre de contexte de 384 000 tokens

Imaginez un agent qui choisit lui-même l'action à exécuter : valider un paiement, répondre à un client, clore un ticket. Dans ce cas, la précision moyenne d'un modèle dit peu de choses. Ce qui compte davantage, c'est qu'il n'invente pas de réponse lorsqu'il ne sait pas, et qu'il ne change pas sa décision si les mêmes options sont simplement reformulées autrement.

C'est précisément ce que mesure le laboratoire indépendant Artificial Analysis dans son classement Decision Index. Dans la version v2.1, le modèle SubQ Snap 1.

2 de la société Subquadratic obtient 73 points contre 68 pour la précédente SubQ Snap 1.1, soit 5 points de plus, et rejoint les leaders du classement des décisions. Mais le gain ne se situe pas là où on l'attend habituellement.

Ce que montre le classement

Deux concurrents, Drex Max v1.1 et GLiDE v1.2, ont également 73 points, et l'écart avec SubQ Snap 1.2 tient en 0,1 point. En pratique, trois modèles revendiquent la première place, et il est impossible de les départager sur le seul score du classement.

Le prix n'a pas changé : 0,04 $ par million de tokens d'entrée. La fenêtre de contexte atteint 384 000 tokens. L'amélioration arrive sans hausse de coût, ce qui compte si vous estimez le coût de traitement de grands volumes de texte.

Les deux sous-tests qui progressent le plus sont AA-Paperclip et AA-Symmetry, avec 8 points chacun.

D'où vient la hausse

AA-Paperclip évalue le travail sur des documents. On mesure la part de documents auxquels le modèle répond entièrement juste, sans la moindre erreur. Pour SubQ Snap 1.2, ce taux passe de 46 % à 62 %. Drex Max v1.1 affiche 63 % et GLiDE v1.2 62 % : sur ce point, les trois modèles sont pratiquement à égalité.

AA-Symmetry teste la robustesse : le modèle conserve-t-il la même décision et le même niveau de confiance lorsque la question change d'une manière qui ne devrait pas influer sur la réponse ? Exemple : vous demandez à un agent de choisir l'une de trois actions, puis vous reformulez ces trois actions avec d'autres mots. Un modèle fiable choisira la même chose. Dans le Decision Index v2.1, ce test a été mis à jour en version 1.1 : les options de réponse sont désormais intégrées à la description de la situation et reformulées avec le même sens. La tâche est devenue plus difficile, et SubQ Snap 1.2 a tout de même gagné 8 points.

La prudence plutôt que la précision

Les deux autres tests, AA-Omniscience-Decision et HLE-MultiChoice, sont les plus intéressants. Le nombre de bonnes réponses n'a pas augmenté : la précision reste à 21 % et 9 %. En revanche, la part de réponses sans invention a progressé, c'est-à-dire les cas où le modèle ne donne pas une réponse fausse avec assurance : de 85 % à 89 % dans le premier test, et de 46 % à 55 % dans le second.

La cause tient aux refus. Dans AA-Omniscience-Decision, le modèle accepte désormais de répondre à 29 % des questions, contre 33 % auparavant. Il admet plus souvent qu'il ne sait pas, et devine moins souvent à tort. Le classement compte cela comme une amélioration, car une réponse inventée est pénalisée plus lourdement qu'un refus honnête.

Que faire de ces résultats en pratique

Premièrement, regardez d'où vient la progression. Ces cinq points ne signifient pas que le modèle est devenu plus intelligent : une part notable du gain tient à la prudence. Pour les scénarios où une erreur est coûteuse (finance, médecine, documents juridiques, actions automatisées d'un agent), c'est une bonne nouvelle. Si, en revanche, vous avez besoin d'une réponse à chaque requête, cette prudence excessive vous gênera.

Deuxièmement, mesurez la part de refus sur vos propres données. Si le modèle répond à 29 % des questions au lieu de 33 %, le comportement de votre produit changera. L'interface doit savoir gérer le « je ne sais pas » : transmettre la question à un humain ou à un autre modèle.

Troisièmement, à scores égaux, comparez le prix, la vitesse et la longueur de contexte. Avec 0,04 $ par million de tokens d'entrée et une fenêtre de 384 000 tokens, SubQ Snap 1.2 apparaît comme un choix raisonnable pour le traitement en masse de longs documents.

Limites : il s'agit des benchmarks d'un seul analyste indépendant, et le test de robustesse vient d'être mis à jour. Il n'est donc pas possible de comparer directement les chiffres avec ceux des versions précédentes de l'indice. Sur une tâche réelle, les résultats peuvent différer. Avant de passer à la nouvelle version, testez-la sur votre propre jeu d'exemples.

Dossier

Questions clés sur cet article

Que sait-on sur Ce que montre le classement ?

Deux concurrents, Drex Max v1.1 et GLiDE v1.2, ont également 73 points, et l'écart avec SubQ Snap 1.2 tient en 0,1 point. En pratique, trois modèles revendiquent la première place, et il est impossible de les départager sur le seul score du classement. Le prix n'a pas changé : 0,04 $ par million de tokens d'entrée. La fenêtre de contexte atteint 384 000 tokens. L'amélioration arrive sans hausse de coût, ce qui compte si vous estimez le coût de traitement de grands volumes de texte.

Que sait-on sur D'où vient la hausse ?

AA-Paperclip évalue le travail sur des documents. On mesure la part de documents auxquels le modèle répond entièrement juste, sans la moindre erreur. Pour SubQ Snap 1.2, ce taux passe de 46 % à 62 %. Drex Max v1.1 affiche 63 % et GLiDE v1.2 62 % : sur ce point, les trois modèles sont pratiquement à égalité. AA-Symmetry teste la robustesse : le modèle conserve-t-il la même décision et le même niveau de confiance lorsque la question change d'une manière qui ne devrait pas influer sur la réponse ?

Que sait-on sur La prudence plutôt que la précision ?

Les deux autres tests, AA-Omniscience-Decision et HLE-MultiChoice, sont les plus intéressants. Le nombre de bonnes réponses n'a pas augmenté : la précision reste à 21 % et 9 %. En revanche, la part de réponses sans invention a progressé, c'est-à-dire les cas où le modèle ne donne pas une réponse fausse avec assurance : de 85 % à 89 % dans le premier test, et de 46 % à 55 % dans le second. La cause tient aux refus.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…