Huit GPU font passer l'entraînement de 32 à 5 jours, mais la facture grimpe de 25% en GPU-heures
Si un modèle met 32 jours à s'entraîner sur une seule carte graphique (GPU), il paraît logique d'en prendre huit pour tenir en 4 jours. En pratique, l'entraînement a duré 5 jours : les cartes perdent du temps à échanger des gradients et à s'attendre les unes les autres. L'efficacité de la mise à l'échelle atteint donc 80%, et non 100%. La consommation passe par ailleurs de 768 à 960 GPU-heures, soit 25% de plus : c'est plus rapide, mais plus cher. Avant d'acheter des cartes supplémentaires, profilez donc l'entraînement et comparez le gain de vitesse à la hausse de la facture.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez : votre modèle met 32 jours à s'entraîner sur une seule carte graphique (GPU). Vous branchez huit cartes, en mode Multi-GPU, en espérant boucler en 4 jours, et vous obtenez 5 jours. Les cartes perdent du temps à échanger des gradients (les corrections qui permettent au modèle d'apprendre), à transférer des données et à attendre leurs voisines les plus lentes.
L'accélération est donc de 6,4 fois au lieu de 8, soit une efficacité de mise à l'échelle de 80%. Et le nombre de GPU-heures facturées passe de 768 à 960, une hausse de 25%. L'entraînement s'est terminé 27 jours plus tôt, mais il coûte plus cher.
Voici d'où viennent ces pertes et comment décider si des cartes supplémentaires vous sont utiles.
Pourquoi huit cartes n'offrent pas une accélération par huit
Quand on entraîne des modèles, on finit tôt ou tard par se heurter à l'un de ces deux obstacles : l'entraînement s'éternise, ou le modèle ne tient plus en mémoire vidéo. Le réflexe naturel consiste à ajouter des cartes. Mais le Multi-GPU n'est pas une accélération gratuite : chaque carte supplémentaire apporte des surcoûts, que l'on paie en temps et en argent.
Faisons le calcul sur l'exemple théorique de la source. Accélération (Speedup) : 32 / 5 = 6,4. Efficacité de mise à l'échelle (Scaling Efficiency) : 6,4 / 8 × 100% = 80%. Passons maintenant à la comptabilité. Une carte pendant 32 jours représente 768 GPU-heures. Huit cartes pendant 5 jours en représentent 960, soit 192 de plus. À prix horaire identique, l'entraînement coûte 25% de plus, mais se termine 27 jours plus tôt. Si l'échéance prime sur le budget, l'opération est rentable ; sinon, les heures supplémentaires sont du gaspillage.
Quatre approches, et le point faible de chacune
Data Parallelism (PyTorch DDP). Chaque GPU héberge une copie complète du modèle et traite sa propre part du batch. Lors de la passe arrière, les processus synchronisent les gradients via l'opération All-Reduce. DDP sait faire chevaucher les échanges et les calculs, mais avec de petits batchs, les communications prennent autant de temps que les calculs eux-mêmes, et le gain s'érode.
Tensor Parallelism. Les paramètres et les calculs de chaque couche sont répartis entre les cartes, qui s'échangent en permanence des résultats intermédiaires. Les performances dépendent donc fortement des liaisons : PCIe, NVLink et topologies avec NVSwitch.
Pipeline Parallelism. Les couches du modèle sont réparties entre les accélérateurs, et les micro-batchs les traversent à la chaîne. Quand le pipeline se remplit puis se vide, une partie des cartes reste inactive. Ces intervalles s'appellent des pipeline bubbles, les « bulles » du pipeline.
FSDP. Les paramètres, les gradients et les états de l'optimiseur sont répartis entre les cartes. Avec un sharding complet, cela économise de la mémoire vidéo (VRAM), mais impose des opérations supplémentaires All-Gather et Reduce-Scatter.
Règle empirique : DDP convient quand le modèle tient sur une seule carte et qu'il s'agit simplement de l'accélérer. FSDP, Tensor Parallelism et Pipeline Parallelism s'imposent quand il n'y tient pas.
Que vérifier avant d'acheter ou de louer des cartes
Si l'accélération est inférieure aux attentes, vérifiez le chargement des données, le temps des communications NCCL (la bibliothèque NVIDIA d'échange de données entre GPU) et l'équilibrage de la charge entre les processus. Si les cartes attendent le DataLoader, aucun cluster n'y changera rien. PyTorch Profiler repère les latences dans les calculs et les communications, et la commande nvidia-smi topo -m affiche la topologie des liaisons entre GPU.
Voici la marche à suivre :
- mesurez le throughput (le débit de traitement des données) et la durée d'un pas sur une seule carte ;
- refaites la mesure sur plusieurs cartes et calculez l'efficacité de mise à l'échelle ;
- comparez le gain de vitesse à la hausse des GPU-heures et du coût ;
- ne décidez qu'ensuite si une étape supplémentaire est nécessaire.
Il arrive qu'optimiser le DataLoader ou changer de schéma de parallélisme apporte plus que des accélérateurs supplémentaires.
Limites de l'exemple
Les 80% d'efficacité sont une illustration, pas une référence. Sur des tâches réelles, ce chiffre dépend de la taille du modèle, du batch, des liaisons entre les cartes et de la qualité du code. Le contenu a été publié sur le blog du fournisseur cloud Рег.облако sous forme d'analyse générale, sans mesures propres. Mais la logique vaut dans tous les cas : la vitesse et le coût n'augmentent pas au même rythme, et un chef de projet gagne à regarder les deux chiffres, pas seulement la durée de l'entraînement.
- 19 nov. 2026Le modèle ouvert DaisyRose-27B résout 12% des tâches de Terminal-Bench, contre 5,6%
- 12 oct. 2026DiffusionART accélère par 12 le fine-tuning RL des modèles vidéo, sans réglage fin de l'EMA
- 13 oct. 2026En Russie, les ordinateurs portables chinois renchérissent de 10% et reviennent à 8 Go de mémoire
- 17 mai 2026AWS lance la réservation de GPU à l'heure pour les tests ML et la préparation des mises en production
Questions clés sur cet article
Pourquoi huit cartes n'offrent pas une accélération par huit?
Quand on entraîne des modèles, on finit tôt ou tard par se heurter à l'un de ces deux obstacles : l'entraînement s'éternise, ou le modèle ne tient plus en mémoire vidéo. Le réflexe naturel consiste à ajouter des cartes. Mais le Multi-GPU n'est pas une accélération gratuite : chaque carte supplémentaire apporte des surcoûts, que l'on paie en temps et en argent. Faisons le calcul sur l'exemple théorique de la source. Accélération (Speedup) : 32 / 5 = 6,4.
Que sait-on sur Quatre approches, et le point faible de chacune ?
Data Parallelism (PyTorch DDP). Chaque GPU héberge une copie complète du modèle et traite sa propre part du batch. Lors de la passe arrière, les processus synchronisent les gradients via l'opération All-Reduce. DDP sait faire chevaucher les échanges et les calculs, mais avec de petits batchs, les communications prennent autant de temps que les calculs eux-mêmes, et le gain s'érode. Tensor Parallelism.
Que sait-on sur Que vérifier avant d'acheter ou de louer des cartes ?
Si l'accélération est inférieure aux attentes, vérifiez le chargement des données, le temps des communications NCCL (la bibliothèque NVIDIA d'échange de données entre GPU) et l'équilibrage de la charge entre les processus. Si les cartes attendent le DataLoader, aucun cluster n'y changera rien. PyTorch Profiler repère les latences dans les calculs et les communications, et la commande nvidia-smi topo -m affiche la topologie des liaisons entre GPU.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.