Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarCoreWeave Blog→ original

CoreWeave a entraîné DeepSeek-V3 671B en 17,65 minutes sur Vera Rubin, 2,7 fois plus vite que GB200

CoreWeave a soumis au test MLPerf Training v6.1 les nouvelles puces Nvidia Vera Rubin pour mesurer leur avance sur la génération précédente, GB200. Le modèle DeepSeek-V3 à 671 milliards de paramètres a atteint la qualité cible en 17,65 minutes sur 256 GPU répartis dans quatre racks, contre 48,40 minutes sur GB200 avec le même nombre de GPU, soit 2,7 fois plus de temps. Pour choisir un cloud d'entraînement, comparez le temps jusqu'à la cible sur votre propre nombre de GPU, et non la fiche technique de la puce.

Traité par IA depuis CoreWeave Blog ; édité par Hamidun News
CoreWeave a entraîné DeepSeek-V3 671B en 17,65 minutes sur Vera Rubin, 2,7 fois plus vite que GB200
Source : CoreWeave Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireCoreWeave Blog ↗
Rédacteur en chef
Llama 3.1 8B sur un seul rack7,16 minutes contre 13,70 sur GB200
Chiffre clé #2Les accélérations ont été calculées par CoreWeave elle-même, MLCommons ne les a pas vérifiées
Qwen3.5 397B avec RL22,78 minutes sur 256 GPU, dont 128 pour l'entraînement et 128 pour la génération

Imaginez que vous louez un cluster pour entraîner un grand modèle et que vous payez chaque heure. Les publicités des clouds mettent en avant les caractéristiques des puces, mais elles ne disent pas combien de temps l'entraînement prendra réellement. C'est à cela que sert le test MLPerf Training : il chronomètre le temps qu'un système met pour amener un modèle donné à la qualité cible.

Dans le dernier cycle v6.1, le cloud CoreWeave a entraîné DeepSeek-V3 à 671 milliards de paramètres en 17,65 minutes sur 256 GPU Nvidia Rubin, regroupés en quatre racks Vera Rubin NVL72 (72 GPU par rack). La génération précédente, GB200 NVL72, a demandé 48,40 minutes au même fournisseur avec le même nombre de GPU.

L'écart est de 2,7 fois : c'est le temps et l'argent que l'on peut économiser sur un seul run.

Ce qui a été mesuré et les chiffres obtenus

MLPerf Training v6.1 ne mesure pas le maximum théorique d'une puce, mais le fonctionnement de l'ensemble : accélérateurs, réseau, ordonnancement des tâches et logiciels. CoreWeave a participé à la catégorie Available du groupe fermé, c'est-à-dire avec du matériel accessible aux clients. Les systèmes allaient d'un seul rack de 72 GPU à quatre racks de 256 GPU, et les modèles de 8 à 671 milliards de paramètres.

Le résultat le plus remarqué concerne DeepSeek-V3, avec son architecture mixture-of-experts (MoE) : 17,65 minutes contre 48,40 sur GB200. Selon l'entreprise, elle est le seul fournisseur cloud à avoir soumis, dans ce cycle, des résultats sur plusieurs racks Vera Rubin.

Sur un seul rack, l'équipe a entraîné Llama 3.1 8B en 7,16 minutes. C'est le meilleur résultat parmi les soumissions à 72 GPU du cycle, et 1,9 fois plus rapide que le GB200 NVL72 de CoreWeave, qui avait pris 13,70 minutes. Dans les deux cas, NVFP4 a été utilisé pour les multiplications matricielles, FP8 pour l'attention et des graphes CUDA. D'après le calcul de l'entreprise, un rack pourrait théoriquement enchaîner environ huit de ces runs par heure, hors démarrage et évaluation de la qualité.

Pourquoi plusieurs racks, c'est compliqué

Dans un modèle MoE, les tokens sont envoyés à chaque couche vers différents experts, qui résident sur différents GPU. Imaginez un bureau où chaque question doit être transmise au bon spécialiste puis revenir avec la réponse : tant que tout le monde est dans la même pièce, c'est rapide. Dès que les collaborateurs sont répartis sur quatre étages, tout dépend des ascenseurs. Ici, à l'intérieur d'un rack, les GPU communiquent via la liaison interne rapide NVLink, tandis qu'entre les racks le trafic passe par une infrastructure réseau.

CoreWeave a relié les racks par un réseau Ethernet en RoCE, avec des commutateurs Spectrum-6 à 102,4 Tbit/s et des cartes réseau SuperNIC. Elle utilise aussi un placement des tâches tenant compte de la topologie, c'est-à-dire qu'elle cherche à placer les parties liées de l'entraînement les unes près des autres. Un système de surveillance de l'état du parc repère en outre les nœuds lents ou défaillants avant qu'ils ne ralentissent tout le run. Dans un grand cluster, un seul GPU en retard peut faire perdre autant de temps utile qu'une optimisation logicielle supplémentaire.

Apprentissage par renforcement et réserves

Une autre soumission concerne Qwen3.5 397B avec apprentissage par renforcement (RL) : 22,78 minutes sur 256 GPU répartis en quatre racks. La moitié des GPU, soit 128, s'occupait de l'entraînement, et l'autre moitié, également 128, générait les réponses. Ce benchmark est le premier de MLPerf Training consacré au post-entraînement des LLM, avec une charge différente : il faut générer, évaluer et mettre à jour le modèle en même temps. Sur cette partie, l'entreprise a publié des résultats sur GB200 NVL72, comme pour GPT-OSS 20B.

Les réserves sont importantes. Les accélérations de 2,7x et 1,9x ont été calculées par CoreWeave elle-même, en comparant ses soumissions Vera Rubin et GB200 à nombre de GPU égal, et MLCommons n'a pas vérifié ces calculs. L'affirmation d'être « le seul cloud » repose également sur sa propre analyse des résultats publiés. Enfin, il s'agit de tâches de référence : sur votre jeu de données et votre architecture, les chiffres seront différents.

Ce que cela implique pour les praticiens

Premièrement, si vous entraînez de grands modèles MoE, évaluez un cloud sur le temps jusqu'à la cible sur plusieurs racks, et non sur les caractéristiques d'une seule carte. C'est là que le réseau et l'ordonnancement déterminent le coût final. Deuxièmement, pour les petits modèles et les expérimentations fréquentes, la vitesse d'un run compte : moins de dix minutes par rack signifient davantage d'itérations dans la journée. Troisièmement, demandez au fournisseur des résultats sur votre nombre de GPU, ainsi que des données sur les temps d'arrêt et la reprise après incident, car ce sont eux qui distinguent un bon benchmark d'une production rapide.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été mesuré et les chiffres obtenus ?

MLPerf Training v6.1 ne mesure pas le maximum théorique d'une puce, mais le fonctionnement de l'ensemble : accélérateurs, réseau, ordonnancement des tâches et logiciels. CoreWeave a participé à la catégorie Available du groupe fermé, c'est-à-dire avec du matériel accessible aux clients. Les systèmes allaient d'un seul rack de 72 GPU à quatre racks de 256 GPU, et les modèles de 8 à 671 milliards de paramètres.

Pourquoi plusieurs racks, c'est compliqué?

Dans un modèle MoE, les tokens sont envoyés à chaque couche vers différents experts, qui résident sur différents GPU. Imaginez un bureau où chaque question doit être transmise au bon spécialiste puis revenir avec la réponse : tant que tout le monde est dans la même pièce, c'est rapide. Dès que les collaborateurs sont répartis sur quatre étages, tout dépend des ascenseurs.

Que sait-on sur Apprentissage par renforcement et réserves ?

Une autre soumission concerne Qwen3.5 397B avec apprentissage par renforcement (RL) : 22,78 minutes sur 256 GPU répartis en quatre racks. La moitié des GPU, soit 128, s'occupait de l'entraînement, et l'autre moitié, également 128, générait les réponses. Ce benchmark est le premier de MLPerf Training consacré au post-entraînement des LLM, avec une charge différente : il faut générer, évaluer et mettre à jour le modèle en même temps.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…