Artificial Analysis durcit son test d'IA : désormais, un document doit être traité sans aucune des 15 erreurs possibles

L'IA a correctement lu le montant d'une facture et trouvé les coordonnées du fournisseur, mais a mal déterminé si le paiement nécessitait une vérification supplémentaire. Pour une entreprise, cela revient à un document mal traité. Une grande précision sur les réponses individuelles n'est ici qu'une maigre consolation : un employé devra de toute façon intervenir.

Artificial Analysis a présenté la deuxième version du Decision Index, un classement de modèles axé sur la prise de décision. Cette mise à jour offre un repère utile à ceux qui automatisent le traitement de documents : considérer la tâche entière comme réussie ou non, tenir compte de la confiance du modèle et comparer les coûts d'un résultat abouti. Selon les auteurs, les jeux de données fermés représentent désormais 45 % du poids de l'indice, contre 25 % dans la première version. Cela devrait rendre plus difficile l'optimisation des modèles pour des tâches connues.

97 % de bonnes réponses ne signifient pas un document prêt

Le nouveau test fermé AA-Paperclip contient 1 500 documents : CV, tickets de caisse, factures et articles scientifiques. Pour chaque document, le modèle doit prendre cinq décisions et extraire dix faits. Un document n'est validé que si les 15 réponses sont correctes. Ce test pèse 30 % de l'indice.

Prenons le traitement d'une facture entrante. Le système extrait le montant, la devise, la date et d'autres champs, puis décide où acheminer le document. Si un champ important ou une décision est erroné, le circuit automatique peut se rompre. Une évaluation question par question dilue ce problème parmi des dizaines de bonnes réponses. La vérification du document entier le révèle immédiatement.

Dans les résultats d'Artificial Analysis, le modèle Drex Max v1.1 répond correctement à 97 % des questions individuelles d'AA-Paperclip, mais ne réussit intégralement que 63 % des documents. Pour Claude Haiku 5.5 (Max), les chiffres correspondants sont de 99 % et 92 %. Un écart de deux points de pourcentage au niveau des réponses se transforme en 29 points au niveau des documents.

Pour un produit, c'est une raison de revoir ses propres contrôles. Outre la précision des champs, il convient de mesurer la part de documents qui traversent tout le scénario sans correction. Il faut toutefois adapter l'exigence du « tout juste » à la tâche : une erreur dans un champ facultatif et un montant de paiement erroné n'ont pas les mêmes conséquences.

Une erreur assurée fait baisser la note

La nouvelle métrique principale, le Decision Score, prend en compte l'exactitude de la réponse et la probabilité d'exactitude annoncée par le modèle. Une erreur commise avec assurance est notée plus bas qu'une erreur accompagnée d'une incertitude reconnue. Le score final ne doit pas se lire comme un pourcentage de réponses correctes.

L'intérêt pratique est clair : si le modèle doute, l'application peut transmettre le document à un employé ou à un modèle plus puissant. Mais ce circuit ne fonctionne que si la confiance est réellement liée à la qualité. La simple déclaration « sûr à 90 % » ne suffit pas : ce lien devra être vérifié sur vos propres données.

Un autre nouveau test, AA-Symmetry, évalue la robustesse des réponses aux reformulations. Les auteurs modifient l'ordre des options, les notations et la forme de la question. Pour un développeur, le risque est familier : une petite modification de modèle de prompt change soudainement le comportement du système.

Une réserve s'impose toutefois. D'après Artificial Analysis, la grande robustesse de certains modèles tient à leurs refus fréquents de répondre. Un refus stable est utile comme signal de prudence, mais ne signifie pas en soi que le système résout davantage de tâches.

Comptez les coûts de l'ensemble du parcours

Le classement montre aussi pourquoi comparer les modèles uniquement sur le prix du million de tokens est risqué. Certains services comptabilisent le document d'entrée une seule fois pour toutes les questions, d'autres le retraitent pour chaque question.

Selon les calculs d'Artificial Analysis, un million de tâches coûte 102 $ avec Drex Max v1.1 et 780 $ avec GLiDE v1.2. Pourtant, le prix annoncé des tokens de GLiDE n'est supérieur que de 33 %. L'écart important vient du retraitement répété des données d'entrée. Ces montants relèvent de la méthodologie du classement ; le budget d'une application concrète dépendra des documents et du nombre de requêtes.

Avant de choisir un modèle, il convient de faire passer un même échantillon dans le scénario de travail complet. Mesurez la part de documents menés à terme, la latence, les coûts et le nombre de transferts à un humain. Vérifiez ensuite séparément ce qui se passe après reformulation des questions et dans quelle mesure on peut se fier aux scores de confiance. L'indice mis à jour fournit un bon modèle de vérification, mais c'est vos propres documents qui désigneront le vainqueur pour votre processus.