Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarMLCommons→ original

MLPerf Training : des clusters de 10 240 GPU et un entraînement 49% plus rapide en six mois

MLCommons a publié MLPerf Training v6.1, un examen pour clusters : tous les participants entraînent le même modèle jusqu'à la même qualité cible, et c'est le temps qui est mesuré. Les plus gros runs passent de 8 192 à 10 240 GPU. Sur les quatre tests inchangés, le temps d'entraînement a diminué en six mois d'un facteur 1,49 en moyenne : 100 minutes hier, environ 67 aujourd'hui. Une partie du gain vient du logiciel. Pour choisir un cluster, mieux vaut donc se fier aux résultats récents qu'aux spécifications du matériel.

Traité par IA depuis MLCommons ; édité par Hamidun News
MLPerf Training : des clusters de 10 240 GPU et un entraînement 49% plus rapide en six mois
Source : MLCommons. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireMLCommons ↗
Rédacteur en chef
Chiffre clé #125 participants et 250 soumissions, contre 24 et 229 dans la v6.0
Systèmes multinœuds76% des résultats Closed, contre 61% dans la v6.0
Nouveaux testsRL agentique sur Qwen3.5-397B et système de recommandation DLRMv4

Imaginez que vous deviez choisir où entraîner un modèle : louer des GPU dans le cloud ou monter votre propre cluster. Les chiffres théoriques des fabricants en disent peu. MLPerf Training, lui, fonctionne comme un examen commun : tous les participants résolvent la même tâche sur les mêmes données jusqu'à la même qualité cible, et l'on mesure le temps nécessaire pour y parvenir.

Dans la nouvelle manche v6.1 de MLCommons, les plus gros runs atteignent 10 240 GPU (le plafond était de 8 192 auparavant). Sur les quatre tests inchangés depuis la manche précédente, le meilleur temps a diminué en moyenne d'un facteur 1,49, soit environ 49% de vitesse en plus.

Pour fixer les idées : un entraînement qui prenait 100 minutes il y a six mois en prend désormais 67. C'est un repère pour estimer l'accélération réelle que l'on peut attendre d'un changement de matériel et de réglages logiciels.

Ce qui a changé dans cette manche

MLCommons a reçu 250 soumissions de 25 participants ; la v6.0 en comptait 229 pour 24 participants. Les plus grosses tâches tournent sur 10 240 GPU : NVIDIA avec des GB300 et Azure avec des GB200 ont entraîné DeepSeek-V3. Google a lancé le même modèle sur 8 192 puces TPU7x (Ironwood) au sein d'un seul slice, relié par le réseau interne à haut débit ICI. Ironwood et NVIDIA Rubin font leurs débuts dans la catégorie Available, ce qui signifie que ces systèmes sont déjà accessibles aux clients. Au total, la manche couvre 12 accélérateurs de trois fabricants et quatre technologies de réseau entre nœuds.

Le système type est devenu plus grand. Le nombre médian d'accélérateurs par résultat Closed est resté à 8 de la v4.0 à la v6.0 ; il est maintenant de 32. Les résultats sur 64 accélérateurs ou plus sont passés de 73 à 111. Les systèmes multinœuds représentent 76% des résultats Closed (117 sur 153), contre 61% dans la v6.0. Environ 28% des soumissions viennent du cloud : l'infrastructure virtualisée se maintient donc au niveau des autres. L'Université de Floride a exécuté le test sur la moitié d'un SuperPOD B200, tandis que l'autre moitié servait aux chercheurs.

Deux tests ont été ajoutés à la suite. Le premier porte sur l'apprentissage par renforcement agentique : un modèle de 397 milliards de paramètres (Qwen3.5-397B) apprend à corriger de vrais projets logiciels ; sept participants l'ont exécuté, pour 29 soumissions. Le second est le système de recommandation génératif DLRMv4 (HSTU), qui remplace l'ancien DLRM-DCNv2 : huit participants, 20 soumissions. Le grand modèle dense de préentraînement a été retiré après trois manches : l'industrie s'est tournée vers l'architecture mixture-of-experts, où seule une partie du modèle travaille sur chaque token. Cette niche est désormais couverte par DeepSeek-V3 et Qwen3.5-397B.

D'où viennent les 49%, et pourquoi le gain est inégal

Le chiffre de 1,49 est la moyenne géométrique du gain des meilleurs résultats sur les quatre tests inchangés. Ce n'est pas un résultat officiel de MLPerf, mais un indice que MLCommons calcule elle-même. Les systèmes comparés ont la même taille : 512 accélérateurs, sauf pour Llama 3.1 8B, où la v6.0 en comptait 1 024. Le gain est inégalement réparti : FLUX.1 a nettement accéléré en six mois, tandis que le petit Llama 3.1 8B n'a presque pas bougé. Une partie du gain vient du logiciel : Firmus et KRAI ont montré un net avantage par rapport aux implémentations de référence, notamment grâce à des optimisations réalisées avec l'aide de l'IA.

Pourquoi plus de GPU ne veut pas dire plus vite

Le test mesure le temps d'entraînement sur une tâche fixe, donc un gros cluster doit venir à bout du même travail plus tôt. Mais la synchronisation des gradients entre accélérateurs ne diminue pas quand le cluster grandit : 100 accélérateurs n'entraîneront pas un modèle 100 fois plus vite. La taille de batch est elle aussi limitée : Llama 3.1 8B traite environ 64 séquences par pas, et sur des centaines d'accélérateurs, il faut découper chaque séquence, ce qui ajoute des échanges de données au sein de chaque couche.

DeepSeek-V3 travaille avec un batch d'environ 16 000 séquences, mais son problème est autre : la mémoire. L'état d'entraînement d'un modèle de 671 milliards de paramètres dépasse 10 To, alors que la HBM d'un accélérateur offre 186–288 Go. Le modèle est donc découpé par pipeline et par experts, et une partie des calculs est refaite pour économiser de la mémoire. Sur les racks NVL72 et les slices TPU7x, le réseau interne rapide couvre de nombreux nœuds. La façon dont la tâche répartit son trafic entre réseau rapide et réseau lent détermine donc de plus en plus la vitesse.

Les processeurs forment un sujet à part. Dans le RL agentique (par exemple Qwen3.5 GRPO), les CPU lancent les environnements et les tests qui transforment les réponses du modèle en récompense. Les participants ont utilisé de 500 à environ 3 150 sandboxes parallèles. La puissance des CPU hôtes gagnera en importance à mesure que les tâches agentiques se développeront.

Que faire de ces résultats

Pour choisir une plateforme, ne regardez pas le nombre maximal de GPU, mais les résultats sur une tâche proche de la vôtre et l'architecture du réseau. Pour de petits modèles, des centaines d'accélérateurs supplémentaires n'apporteront presque rien. Pour des pipelines agentiques, prévoyez de la puissance CPU pour les sandboxes.

Limites : les résultats sont soumis par les participants eux-mêmes, les premiers résultats des nouveaux tests reflètent en partie l'effet de nouveauté, et dans cette manche, seule la TTA coréenne a mesuré la consommation d'énergie.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a changé dans cette manche ?

MLCommons a reçu 250 soumissions de 25 participants ; la v6.0 en comptait 229 pour 24 participants. Les plus grosses tâches tournent sur 10 240 GPU : NVIDIA avec des GB300 et Azure avec des GB200 ont entraîné DeepSeek-V3. Google a lancé le même modèle sur 8 192 puces TPU7x (Ironwood) au sein d'un seul slice, relié par le réseau interne à haut débit ICI. Ironwood et NVIDIA Rubin font leurs débuts dans la catégorie Available, ce qui signifie que ces systèmes sont déjà accessibles aux clients.

Que sait-on sur D'où viennent les 49%, et pourquoi le gain est inégal ?

Le chiffre de 1,49 est la moyenne géométrique du gain des meilleurs résultats sur les quatre tests inchangés. Ce n'est pas un résultat officiel de MLPerf, mais un indice que MLCommons calcule elle-même. Les systèmes comparés ont la même taille : 512 accélérateurs, sauf pour Llama 3.1 8B, où la v6.0 en comptait 1 024. Le gain est inégalement réparti : FLUX.1 a nettement accéléré en six mois, tandis que le petit Llama 3.1 8B n'a presque pas bougé.

Pourquoi plus de GPU ne veut pas dire plus vite?

Le test mesure le temps d'entraînement sur une tâche fixe, donc un gros cluster doit venir à bout du même travail plus tôt. Mais la synchronisation des gradients entre accélérateurs ne diminue pas quand le cluster grandit : 100 accélérateurs n'entraîneront pas un modèle 100 fois plus vite.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…