AWS ajoute à SageMaker un classement de plus de 70 modèles : qualité, vitesse et prix dans un seul tableau
Jusqu'ici, choisir un modèle dans SageMaker JumpStart obligeait à lire les fiches une à une et à comparer des benchmarks mesurés dans des conditions différentes. AWS a désormais fait passer elle-même 70+ modèles par trois tests de raisonnement (BBH, GPQA Diamond, MMLU-Pro), puis mesuré la vitesse de réponse et le prix de l'instance. Dans l'exemple d'un bot de help-desk, le modèle intermédiaire talonne presque le grand modèle, mais coûte 5,75 $ de l'heure au lieu de 37,66 $. Le tableau sert à établir une présélection ; la décision finale doit se vérifier sur vos propres données.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginez que vous construisez un bot interne pour le support et que vous ouvrez le catalogue SageMaker JumpStart, qui compte des centaines de modèles ouverts. Par lequel commencer ? Jusqu'ici, il fallait lire les fiches une par une, chercher des résultats de tests mesurés par différentes équipes avec des prompts, des réglages et du matériel différents, puis estimer à l'œil ce que le modèle coûterait dans votre cas.
Amazon règle ce problème : SageMaker Studio dispose désormais du Model Leaderboard, un tableau qui compare plus de 70 modèles (Meta, Google, Qwen, IBM, Arcee et d'autres) sur la qualité, la vitesse et le prix. AWS a obtenu elle-même tous ces chiffres, avec une seule méthodologie : on peut donc les placer côte à côte. Pour un développeur, c'est du temps gagné à la première étape du choix : une courte liste de candidats se dresse en quelques minutes, au lieu d'une soirée de comparaisons manuelles.
Ce que montre le tableau
Le leaderboard est un nouvel onglet de la page des modèles de base de JumpStart, à côté de « Categories » et « All models ». La recherche et les filtres restent les mêmes, mais l'onglet s'ouvre directement sur le classement des grands modèles de langage.
Les données sont de deux types. Le premier porte sur la qualité, mesurée sur trois benchmarks publics, c'est-à-dire des jeux standard de questions dont les réponses sont connues. BIG-Bench Hard évalue le raisonnement en plusieurs étapes : déductions logiques, suivi d'objets, arithmétique. GPQA Diamond rassemble des questions scientifiques de niveau master, difficiles à résoudre par une simple recherche. MMLU-Pro propose des tests difficiles à choix multiples sur un large éventail de sujets : sciences, droit, ingénierie. Dans les trois cas, plus le score est élevé, mieux c'est. Les scores ne sont pas fusionnés en une note unique : on peut s'appuyer sur le test le plus proche de sa tâche.
Le second type concerne la vitesse et le coût. AWS envoie une charge de test standard à l'endpoint déployé avec chaque configuration JumpStart, et mesure le délai avant le premier token (le temps qu'attend l'utilisateur avant que la réponse commence, un critère important pour les chats), la vitesse de génération en tokens par seconde (importante pour le traitement par lots) et le prix de l'instance à l'heure.
Profil de charge et objectif d'optimisation
Deux menus se trouvent au-dessus du tableau. Le profil de cas d'usage (Max Context par défaut) ne modifie que les chiffres de vitesse et de prix ; les scores de qualité restent identiques. L'objectif d'optimisation détermine la configuration de déploiement :
- Balanced : le prix estimé par token le plus bas ;
- Cost optimized : l'instance la moins chère à l'heure, mais la latence peut être plus élevée ;
- Latency optimized : le délai minimal avant le premier token ;
- Throughput optimized : le débit maximal, éventuellement avec du speculative decoding.
Pour un chatbot destiné aux clients, AWS conseille de commencer par Latency optimized ; pour un traitement de documents de nuit, Throughput ou Cost optimized conviennent. Les colonnes sont surlignées en bleu : plus la teinte est foncée, meilleur est le résultat. Le tableau peut être trié, les colonnes superflues peuvent être masquées, et la page possède son propre lien à partager avec l'équipe.
Exemple : un bot de help-desk
AWS donne un exemple fictif : il faut un modèle avec une licence commerciale et un budget prévisible. Après application du filtre et choix du profil de chat avec Latency optimized, le tableau ressemble à ceci. Modèle A (grand) : BBH 95,9, MMLU-Pro 87,2, premier token en 2,33 s, 37 tokens/s, 37,66 $ de l'heure. Modèle B (intermédiaire) : 94,2 et 84,9, 0,98 s, 44 tokens/s, 5,75 $ de l'heure. Modèle C (petit) : 77,4 et 66,1, 0,27 s, 61 tokens/s, 2,61 $ de l'heure. Il s'agit d'une illustration, et non de données de modèles réels.
Conclusion : le modèle B ne cède presque rien au grand modèle sur la qualité, répond plus vite et coûte environ 6,5 fois moins cher. Pour un help-desk, où il importe davantage de raisonner et de répondre vite que de gratter les derniers points de culture générale, c'est le meilleur point de départ. Le modèle C mérite d'être gardé comme solution de repli bon marché.
Limites
Le coût ne tient compte que du prix de l'instance SageMaker au tarif on-demand. Le transfert de données, le stockage, les inference components et les remises comme les Reserved Instances et les Savings Plans ne sont pas inclus : la facture réelle sera donc différente.
Les benchmarks mesurent des capacités générales, pas votre produit. Les deux ou trois meilleurs candidats doivent être testés sur vos propres données et vos propres prompts. Des scores proches doivent plutôt être considérés comme une égalité : l'écart peut rester dans la variabilité habituelle entre deux exécutions. Les modèles de raisonnement et les modèles classiques sont évalués avec des paramètres de génération différents, et le score GPQA Diamond des modèles de raisonnement est moyenné sur 10 passes ; la comparaison entre ces deux types n'est donc qu'approximative. Les métriques correspondent à la configuration sur laquelle elles ont été mesurées : il faut donc déployer le modèle avec le même profil et le même objectif.
La couverture reste incomplète : tous les modèles JumpStart n'ont pas de scores, et l'absence de score ne signifie pas que le modèle est faible, simplement qu'il n'a pas été testé. Au lancement, le tableau ne contient que des LLM.
Et ensuite ?
AWS prévoit de prendre en charge les hubs privés JumpStart, afin que les organisations ne voient le classement que des modèles approuvés, ainsi que des leaderboards distincts pour la détection d'objets, les embeddings de texte et la compréhension d'images.
La marche à suivre est simple : filtrer d'abord selon les exigences strictes (licence, fournisseur, modalités), trier ensuite selon le benchmark voulu, choisir le profil et l'objectif d'optimisation, puis déployer deux ou trois modèles et les tester sur des requêtes réelles.
- 19 nov. 2026Exa améliore de 47% la vitesse et le coût de ses embeddings sur les puces AWS Inferentia2
- 18 nov. 2026AWS intègre Dynamo à HyperPod : Qwen3-235B passe de 101 à 207 tokens/s par GPU
- 18 nov. 2026Le nouveau modèle Jev répond en 150 ms, contre 1,89 s pour GPT-6 Astra
- 18 nov. 2026AWS montre comment ouvrir les API privées aux agents Bedrock via un pare-feu central
Questions clés sur cet article
Et ensuite ?
AWS prévoit de prendre en charge les hubs privés JumpStart, afin que les organisations ne voient le classement que des modèles approuvés, ainsi que des leaderboards distincts pour la détection d'objets, les embeddings de texte et la compréhension d'images.
Que sait-on sur Ce que montre le tableau ?
Le leaderboard est un nouvel onglet de la page des modèles de base de JumpStart, à côté de « Categories » et « All models ». La recherche et les filtres restent les mêmes, mais l'onglet s'ouvre directement sur le classement des grands modèles de langage. Les données sont de deux types. Le premier porte sur la qualité, mesurée sur trois benchmarks publics, c'est-à-dire des jeux standard de questions dont les réponses sont connues.
Que sait-on sur Profil de charge et objectif d'optimisation ?
Deux menus se trouvent au-dessus du tableau. Le profil de cas d'usage (Max Context par défaut) ne modifie que les chiffres de vitesse et de prix ; les scores de qualité restent identiques. L'objectif d'optimisation détermine la configuration de déploiement : Balanced : le prix estimé par token le plus bas ; Cost optimized : l'instance la moins chère à l'heure, mais la latence peut être plus élevée ; Latency optimized : le délai minimal avant le premier token ; Throughput optimized : le débit…
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.