Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarHabr AI→ original

Huit GPU font passer l'entraînement de 32 à 5 jours, mais la facture grimpe de 25% en GPU-heures

Si un modèle met 32 jours à s'entraîner sur une seule carte graphique (GPU), il paraît logique d'en prendre huit pour tenir en 4 jours. En pratique, l'entraînement a duré 5 jours : les cartes perdent du temps à échanger des gradients et à s'attendre les unes les autres. L'efficacité de la mise à l'échelle atteint donc 80%, et non 100%. La consommation passe par ailleurs de 768 à 960 GPU-heures, soit 25% de plus : c'est plus rapide, mais plus cher. Avant d'acheter des cartes supplémentaires, profilez donc l'entraînement et comparez le gain de vitesse à la hausse de la facture.

Traité par IA depuis Habr AI ; édité par Hamidun News
Huit GPU font passer l'entraînement de 32 à 5 jours, mais la facture grimpe de 25% en GPU-heures
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1DDP, FSDP, Tensor Parallelism et Pipeline Parallelism : quatre schémas aux coûts différents
Chiffre clé #2PyTorch Profiler et nvidia-smi topo -m révèlent les latences et les liaisons entre GPU
Chiffre clé #3L'entraînement s'est terminé 27 jours plus tôt, mais coûte 192 GPU-heures de plus

Imaginez : votre modèle met 32 jours à s'entraîner sur une seule carte graphique (GPU). Vous branchez huit cartes, en mode Multi-GPU, en espérant boucler en 4 jours, et vous obtenez 5 jours. Les cartes perdent du temps à échanger des gradients (les corrections qui permettent au modèle d'apprendre), à transférer des données et à attendre leurs voisines les plus lentes.

L'accélération est donc de 6,4 fois au lieu de 8, soit une efficacité de mise à l'échelle de 80%. Et le nombre de GPU-heures facturées passe de 768 à 960, une hausse de 25%. L'entraînement s'est terminé 27 jours plus tôt, mais il coûte plus cher.

Voici d'où viennent ces pertes et comment décider si des cartes supplémentaires vous sont utiles.

Pourquoi huit cartes n'offrent pas une accélération par huit

Quand on entraîne des modèles, on finit tôt ou tard par se heurter à l'un de ces deux obstacles : l'entraînement s'éternise, ou le modèle ne tient plus en mémoire vidéo. Le réflexe naturel consiste à ajouter des cartes. Mais le Multi-GPU n'est pas une accélération gratuite : chaque carte supplémentaire apporte des surcoûts, que l'on paie en temps et en argent.

Faisons le calcul sur l'exemple théorique de la source. Accélération (Speedup) : 32 / 5 = 6,4. Efficacité de mise à l'échelle (Scaling Efficiency) : 6,4 / 8 × 100% = 80%. Passons maintenant à la comptabilité. Une carte pendant 32 jours représente 768 GPU-heures. Huit cartes pendant 5 jours en représentent 960, soit 192 de plus. À prix horaire identique, l'entraînement coûte 25% de plus, mais se termine 27 jours plus tôt. Si l'échéance prime sur le budget, l'opération est rentable ; sinon, les heures supplémentaires sont du gaspillage.

Quatre approches, et le point faible de chacune

Data Parallelism (PyTorch DDP). Chaque GPU héberge une copie complète du modèle et traite sa propre part du batch. Lors de la passe arrière, les processus synchronisent les gradients via l'opération All-Reduce. DDP sait faire chevaucher les échanges et les calculs, mais avec de petits batchs, les communications prennent autant de temps que les calculs eux-mêmes, et le gain s'érode.

Tensor Parallelism. Les paramètres et les calculs de chaque couche sont répartis entre les cartes, qui s'échangent en permanence des résultats intermédiaires. Les performances dépendent donc fortement des liaisons : PCIe, NVLink et topologies avec NVSwitch.

Pipeline Parallelism. Les couches du modèle sont réparties entre les accélérateurs, et les micro-batchs les traversent à la chaîne. Quand le pipeline se remplit puis se vide, une partie des cartes reste inactive. Ces intervalles s'appellent des pipeline bubbles, les « bulles » du pipeline.

FSDP. Les paramètres, les gradients et les états de l'optimiseur sont répartis entre les cartes. Avec un sharding complet, cela économise de la mémoire vidéo (VRAM), mais impose des opérations supplémentaires All-Gather et Reduce-Scatter.

Règle empirique : DDP convient quand le modèle tient sur une seule carte et qu'il s'agit simplement de l'accélérer. FSDP, Tensor Parallelism et Pipeline Parallelism s'imposent quand il n'y tient pas.

Que vérifier avant d'acheter ou de louer des cartes

Si l'accélération est inférieure aux attentes, vérifiez le chargement des données, le temps des communications NCCL (la bibliothèque NVIDIA d'échange de données entre GPU) et l'équilibrage de la charge entre les processus. Si les cartes attendent le DataLoader, aucun cluster n'y changera rien. PyTorch Profiler repère les latences dans les calculs et les communications, et la commande nvidia-smi topo -m affiche la topologie des liaisons entre GPU.

Voici la marche à suivre :

  • mesurez le throughput (le débit de traitement des données) et la durée d'un pas sur une seule carte ;
  • refaites la mesure sur plusieurs cartes et calculez l'efficacité de mise à l'échelle ;
  • comparez le gain de vitesse à la hausse des GPU-heures et du coût ;
  • ne décidez qu'ensuite si une étape supplémentaire est nécessaire.

Il arrive qu'optimiser le DataLoader ou changer de schéma de parallélisme apporte plus que des accélérateurs supplémentaires.

Limites de l'exemple

Les 80% d'efficacité sont une illustration, pas une référence. Sur des tâches réelles, ce chiffre dépend de la taille du modèle, du batch, des liaisons entre les cartes et de la qualité du code. Le contenu a été publié sur le blog du fournisseur cloud Рег.облако sous forme d'analyse générale, sans mesures propres. Mais la logique vaut dans tous les cas : la vitesse et le coût n'augmentent pas au même rythme, et un chef de projet gagne à regarder les deux chiffres, pas seulement la durée de l'entraînement.

Dossier

Questions clés sur cet article

Pourquoi huit cartes n'offrent pas une accélération par huit?

Quand on entraîne des modèles, on finit tôt ou tard par se heurter à l'un de ces deux obstacles : l'entraînement s'éternise, ou le modèle ne tient plus en mémoire vidéo. Le réflexe naturel consiste à ajouter des cartes. Mais le Multi-GPU n'est pas une accélération gratuite : chaque carte supplémentaire apporte des surcoûts, que l'on paie en temps et en argent. Faisons le calcul sur l'exemple théorique de la source. Accélération (Speedup) : 32 / 5 = 6,4.

Que sait-on sur Quatre approches, et le point faible de chacune ?

Data Parallelism (PyTorch DDP). Chaque GPU héberge une copie complète du modèle et traite sa propre part du batch. Lors de la passe arrière, les processus synchronisent les gradients via l'opération All-Reduce. DDP sait faire chevaucher les échanges et les calculs, mais avec de petits batchs, les communications prennent autant de temps que les calculs eux-mêmes, et le gain s'érode. Tensor Parallelism.

Que sait-on sur Que vérifier avant d'acheter ou de louer des cartes ?

Si l'accélération est inférieure aux attentes, vérifiez le chargement des données, le temps des communications NCCL (la bibliothèque NVIDIA d'échange de données entre GPU) et l'équilibrage de la charge entre les processus. Si les cartes attendent le DataLoader, aucun cluster n'y changera rien. PyTorch Profiler repère les latences dans les calculs et les communications, et la commande nvidia-smi topo -m affiche la topologie des liaisons entre GPU.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…