Efficacité de l'entraînement des IA : pourquoi la vitesse ne fait pas tout

Dès qu'on parle d'entraîner de grands modèles de langage, la discussion revient toujours à deux questions : combien de GPU sont mobilisés et à quelle vitesse le système engloutit les données. Les tokens par seconde sont devenus la monnaie du secteur : plus il y en a, mieux c'est. Mais si cette métrique, malgré sa lisibilité, ne racontait que la moitié de l'histoire ? C'est la question que pose le concept de goodput, qui gagne du terrain et promet de changer la manière d'évaluer l'efficacité de l'entraînement des IA.

Le pré-entraînement d'un modèle moderne de cent milliards de paramètres ou plus est un marathon d'ingénierie qui s'étire sur des semaines, voire des mois. Des milliers d'accélérateurs travaillent en parallèle et traitent des volumes colossaux de données textuelles. Traditionnellement, la réussite de ce processus se mesurait avec deux indicateurs. Le premier est le throughput, c'est-à-dire le débit : combien de tokens le système peut traiter par unité de temps. Le second est la progression de l'entraînement : de combien le modèle s'améliore réellement à chaque itération. Le problème, c'est que ces deux indicateurs ne sont pas toujours corrélés aussi bien que les ingénieurs le souhaiteraient.

Le throughput est une métrique trompeusement simple. Elle indique la vitesse à laquelle les données traversent le pipeline de calcul, mais ne dit rien de la qualité du travail effectué. Imaginez une chaîne d'usine qui emboutit des pièces à une cadence record, dont la moitié part au rebut.

Sur le papier, la productivité est élevée ; le rendement réel, lui, est tout autre. Dans l'entraînement des IA, l'analogie est étonnamment juste. Un système peut afficher des chiffres de throughput impressionnants alors qu'une part importante du calcul est gaspillée : retraitement des données après des pannes, temps morts liés à la synchronisation entre nœuds, répartition sous-optimale de la charge entre accélérateurs.

Pendant tout ce temps, le compteur de tokens continue de tourner et donne l'illusion du progrès.

C'est là qu'intervient le goodput, un indicateur qui cherche à mesurer non pas le débit brut, mais le travail utile. Le goodput ne compte que les calculs qui rapprochent réellement le modèle de la fin de l'entraînement. Si un cluster de quatre mille GPU traite mille milliards de tokens par jour, mais que vingt pour cent de ce travail se perd à cause de pannes matérielles, de redémarrages depuis des checkpoints et de la surcharge de communication entre nœuds, le goodput réel n'atteint que huit cents milliards de tokens.

L'écart paraît théorique, jusqu'à ce qu'on le convertisse en dollars : lorsque la location d'un grand cluster de GPU coûte des millions de dollars par jour, vingt pour cent de pertes représentent des centaines de millions par cycle d'entraînement.

Le passage du throughput au goodput comme métrique clé traduit une évolution plus profonde du secteur. L'ère où le progrès de l'IA se jouait uniquement sur l'échelle (plus de données, plus de paramètres, plus de calcul) laisse peu à peu la place à l'ère de l'optimisation. Les entreprises réalisent qu'on ne peut pas agrandir les clusters indéfiniment, ni sur le plan économique ni sur le plan énergétique.

Selon diverses estimations, l'entraînement d'un seul modèle frontier coûte déjà des centaines de millions de dollars, et la prochaine génération pourrait franchir le cap du milliard. Dans ces conditions, chaque point de pourcentage d'efficacité réelle compte énormément. Optimiser le goodput n'est plus un exercice théorique, mais un levier direct de réduction des coûts.

Les conséquences pratiques touchent toute la chaîne, de la conception des centres de données à l'architecture des frameworks d'entraînement. Côté matériel, cela suppose une attention accrue à la tolérance aux pannes : si l'un des milliers d'accélérateurs tombe, le système doit redistribuer la charge sans perdre de progression, plutôt que de revenir au dernier checkpoint et de perdre des heures de travail. Côté logiciel, cela passe par des stratégies de checkpointing plus intelligentes, des méthodes asynchrones de mise à jour des gradients et des algorithmes de sharding avancés qui minimisent la surcharge de communication entre nœuds.

Google, Meta* et d'autres grands acteurs investissent déjà massivement dans des infrastructures où le goodput est une métrique de premier rang dans la conception des systèmes d'entraînement.

Il est un autre aspect que l'on néglige souvent. Le goodput oblige à s'interroger non seulement sur la vitesse de traitement des données, mais aussi sur la nature des données traitées. Tous les tokens ne se valent pas pour l'entraînement. Des approches comme le curriculum learning et la sélection intelligente des données, où le modèle reçoit les exemples les plus informatifs au bon moment, augmentent directement le goodput au sens large : une mesure du progrès réel du modèle par unité de calcul dépensée.

Le concept de goodput est, au fond, la marque d'un secteur qui atteint la maturité. Quand une technologie est jeune, tout le monde court après les chiffres maximaux sur le papier. En vieillissant, elle déplace son attention vers le rendement réel. Pour les entreprises qui entraînent la prochaine génération de modèles de langage, la différence entre throughput et goodput, c'est la différence entre brûler des centaines de millions de dollars et investir intelligemment dans le progrès. Et celles qui apprendront les premières à maximiser le travail utile de leurs clusters obtiendront un avantage concurrentiel décisif dans la course à l'intelligence artificielle de nouvelle génération.

*Meta est reconnue comme organisation extrémiste et interdite en Fédération de Russie.