Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAPI / Produit · Prêt à l'emploiMLCommons→ original

MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents

MLCommons, qui publie les tests de référence MLPerf, comparait jusqu'ici des puces en laboratoire. Pour un acheteur, ce qui compte, c'est le comportement d'une API d'IA prête à l'emploi sous charge. MLPerf Endpoints v1.0 évalue le service dans son ensemble : matériel, modèle, logiciel d'inférence et réseau. Pour les tâches agentiques, le fournisseur réalise exactement 7 mesures à différents niveaux de requêtes simultanées, ce qui permet de repérer où la vitesse s'effondre. Il vaut donc mieux comparer les fournisseurs sur cette courbe plutôt que sur leur score de pointe.

Traité par IA depuis MLCommons ; édité par Hamidun News
MLCommons se met à mesurer les API d'IA sous charge réelle : 7 mesures pour les agents
Source : MLCommons. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMLCommons ↗
Rédacteur en chef
Chiffre clé #1Le codage agentique est testé sur 613 scénarios multi-tours
Chiffre clé #2Les tests classiques exigent de 8 à 32 mesures, y compris un passage hors ligne
Temps jusqu'au premier token90 % des requêtes sont traitées dans ce délai

Imaginez que vous choisissiez où faire tourner un modèle pour votre produit : chez un fournisseur, le tableau affiche une vitesse record, chez un autre, elle est plus modeste. Le problème, c'est que ce record est généralement obtenu sur un accélérateur parfaitement réglé, sans utilisateurs réels. Quand des centaines de clients frappent simultanément à la porte d'une API en production, le tableau peut être tout autre. Le consortium MLCommons, qui développe les tests de référence MLPerf, a lancé MLPerf Endpoints v1.0 pour combler cet écart : le test ne mesure pas une puce, mais un service en fonctionnement dans son ensemble, tel qu'il est utilisé par les acheteurs.

Ce qui change par rapport à l'ancien MLPerf

Jusqu'ici, MLPerf mesurait surtout du matériel isolé. Endpoints prend un point d'accès d'API en service, c'est-à-dire l'adresse vers laquelle les clients envoient leurs requêtes, et le soumet à une charge réaliste. Le résultat englobe toute la pile : accélérateurs, modèle, logiciel d'inférence, batching (le regroupement des requêtes avant traitement) et réseau.

Les auteurs comparent les benchmarks classiques à l'achat d'une voiture sur la seule foi de sa vitesse maximale affichée au compteur, sans jamais faire d'essai routier. Un score de pointe indique seulement comment le système a réussi un test donné. Pour les fournisseurs cloud, les constructeurs de serveurs et les « néoclouds » (ces nouvelles sociétés qui louent des GPU), cela se transforme en course à l'optimisation pour le test, peu liée à l'utilité réelle pour les entreprises.

Au lieu d'un chiffre unique, la v1.0 construit une frontière de Pareto : un ensemble de régimes effectivement mesurés, qui montre le compromis entre débit et latence. Les données ne sont ni estimées ni interpolées, c'est-à-dire qu'on ne trace pas de droite entre les points. Le résultat apparaît dans la visualisation MLPerf LoadStair : un graphique en escalier, avec des « ruptures » de performance, autrement dit des niveaux de charge au-delà desquels les clients constatent une dégradation nette.

Les ingénieurs y gagnent aussi. Si vous avez écrit votre propre ordonnanceur de requêtes ou optimisé votre infrastructure réseau, les benchmarks classiques passent souvent ces améliorations sous silence. Ici, ces gains modifient la courbe finale.

Ce qui est mesuré : charges et « 7 mesures »

Dans la v1.0, il ne s'agit pas de tâches synthétiques, mais de scénarios proches de ceux que les clients exécutent aujourd'hui. Le premier ensemble porte sur la synthèse de texte en un seul échange : Llama 3.

1 8B Instruct et GPT-OSS 120B, le jeu de données d'actualités CNN/DailyMail, ainsi que des tâches complexes de mathématiques et de sciences où le modèle génère longuement des tokens. Le second ensemble concerne le codage agentique avec des dialogues multi-tours : Qwen 3.6, Kimi K3 et DeepSeek V4 Pro.

Pour cela, 613 trajectoires ont été retenues, où le contexte s'allonge à chaque étape. Les agents sollicitent le service autrement que les requêtes isolées : le contexte qui s'accumule pèse davantage sur la mémoire et sur les latences.

Par « mesure », on entend ici une exécution à un niveau de parallélisme donné, c'est-à-dire pour un nombre fixé de requêtes simultanées. C'est à partir de ces points que se construit la courbe. Pour les tests agentiques, le fournisseur doit réaliser exactement 7 points ; pour les autres ensembles, entre 8 et 32, y compris un passage hors ligne distinct.

Les métriques principales sont le débit en tokens par seconde et le temps jusqu'au premier token au 90e percentile (TTFT P90). En clair, il s'agit du délai dans lequel 90 % des requêtes sont traitées. La v1.0 introduit par ailleurs une normalisation par la puissance : les participants indiquent la puissance allouée au système dans le fichier system_power.json.

Comment soumettre les résultats

Les auteurs promettent beaucoup moins de travail d'ingénierie que pour les benchmarks précédents. Il faut signer l'accord de licence de contributeur de MLCommons (CLA), obtenir une clé API PRISM via son compte de participant et installer les clients de référence. On planifie ensuite les points de charge et on lance les tests avec l'outil inference-endpoint. Il reste à constituer le dossier avec les fichiers system_desc.json (configuration matérielle et logicielle) et system_power.json, à exécuter les contrôles locaux via la CLI, puis à téléverser le résultat. Le système génère automatiquement un identifiant de soumission et une pull request destinée à l'évaluation dans le dépôt privé de MLCommons.

Les soumissions sont acceptées en continu, tandis que les publications sortent par vagues toutes les quelques semaines. Les résultats sont examinés par des concurrents du secteur et font l'objet d'un audit indépendant. Nouveauté : des résultats préliminaires peuvent être présentés dès la vérification automatique, avant l'évaluation. Les données finales peuvent, si besoin, rester sous embargo afin d'être publiées avec le lancement d'un produit.

Ce que cela change concrètement

Si vous choisissez un fournisseur d'inférence ou un cloud, ne regardez pas le maximum, mais la courbe sous charge et le point où elle se brise. Pour les produits agentiques, c'est particulièrement important : ce sont les contextes longs qui provoquent le plus souvent les chutes de performance.

Les limites existent aussi. Le benchmark vient d'être lancé, le nombre de résultats déjà publiés n'est pas communiqué par la source, et l'éventail des tâches se limite pour l'instant à la synthèse et au codage. Les acteurs du marché s'évaluent entre eux, si bien que la valeur des tests dépendra du nombre de fournisseurs qui soumettront réellement leurs systèmes. Mais l'idée de mesurer un service comme le font ses utilisateurs est plus utile qu'une nouvelle course au score de pointe.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui change par rapport à l'ancien MLPerf ?

Jusqu'ici, MLPerf mesurait surtout du matériel isolé. Endpoints prend un point d'accès d'API en service, c'est-à-dire l'adresse vers laquelle les clients envoient leurs requêtes, et le soumet à une charge réaliste. Le résultat englobe toute la pile : accélérateurs, modèle, logiciel d'inférence, batching (le regroupement des requêtes avant traitement) et réseau.

Que sait-on sur Ce qui est mesuré : charges et « 7 mesures » ?

Dans la v1.0, il ne s'agit pas de tâches synthétiques, mais de scénarios proches de ceux que les clients exécutent aujourd'hui. Le premier ensemble porte sur la synthèse de texte en un seul échange : Llama 3.1 8B Instruct et GPT-OSS 120B, le jeu de données d'actualités CNN/DailyMail, ainsi que des tâches complexes de mathématiques et de sciences où le modèle génère longuement des tokens. Le second ensemble concerne le codage agentique avec des dialogues multi-tours : Qwen 3.6, Kimi K3 et DeepSeek V4 Pro.

Comment soumettre les résultats?

Les auteurs promettent beaucoup moins de travail d'ingénierie que pour les benchmarks précédents. Il faut signer l'accord de licence de contributeur de MLCommons (CLA), obtenir une clé API PRISM via son compte de participant et installer les clients de référence. On planifie ensuite les points de charge et on lance les tests avec l'outil inference-endpoint.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…