UC Berkeley dévoile mKernel : une bibliothèque unique pour synchroniser les GPU dans les clusters

L'équipe UCCL d'UC Berkeley a publié mKernel, une bibliothèque CUDA qui ambitionne de révolutionner la synchronisation des GPU dans les grands clusters. Elle réunit dans un seul persistent kernel la communication locale entre GPU, la synchronisation entre serveurs et le calcul, ce qui évite les changements de contexte incessants.

Le goulot d'étranglement des clusters à grande échelle

Dans les datacenters à grande échelle, la synchronisation entre GPU est l'un des principaux goulots d'étranglement de bande passante. Lorsque les ingénieurs entraînent de grands modèles de manière distribuée, ils se heurtent à un problème traité traditionnellement de façon très inefficace.

L'approche antérieure fonctionnait par couches : les ingénieurs utilisaient trois outils et bibliothèques distincts. Le premier assurait la communication rapide au sein d'un même serveur (NVLink, qui passe par des liens à haut débit entre GPU). Le deuxième gérait la synchronisation entre serveurs via le réseau (RDMA, qui s'appuie sur des cartes réseau spécialisées). Le troisième s'occupait du calcul proprement dit.

Chaque passage d'un de ces systèmes à l'autre gèle tout le pipeline du GPU : il doit s'arrêter, changer de contexte, décharger une partie de la mémoire, charger de nouvelles données, et seulement ensuite reprendre le travail. Sur des clusters de milliers de GPU, ces délais de l'ordre de la microseconde s'accumulent en minutes de performances perdues.

Comment mKernel résout le problème

mKernel change radicalement de philosophie. Au lieu de trois systèmes séparés, toutes les opérations (communication locale, synchronisation réseau et calcul) tournent dans un seul persistent kernel. C'est un programme qui reste en permanence dans la mémoire du GPU et n'est jamais déchargé vers le CPU.

L'architecture réunit trois composants :

• NVLink pour la communication entre GPU d'un même serveur — offre un débit 10-20x supérieur à celui du PCIe grâce à des canaux directs à haut débit entre GPU
• RDMA via des cartes réseau pour la synchronisation entre serveurs — évite la surcharge du CPU et la latence du système d'exploitation lors des transferts de données entre machines
• Calcul dense intégré directement dans le kernel — le GPU travaille sur des données locales sans changement de contexte, se synchronise avec ses voisins et enchaîne aussitôt sur la tâche suivante

Autrement dit, un GPU peut passer sans entrave de la communication locale par NVLink à la synchronisation globale par RDMA, puis à son propre calcul, le tout dans un seul bloc de code et sans arrêt.

Un exemple concret : comment cela fonctionne en pratique

En entraînement distribué, un GPU ne peut pas avancer tant que les autres GPU, sur d'autres serveurs, n'ont pas terminé leurs calculs et synchronisé les gradients. Avec l'ancienne approche, le GPU attend simplement, avec un pipeline totalement vide.

Avec mKernel, le processus est différent : le GPU poursuit ses calculs sur les données déjà chargées, se synchronise en parallèle avec ses voisins via NVLink et RDMA, et passe immédiatement à la vague d'entraînement suivante, sans la moindre pause. C'est comparable à la chaîne de montage d'une usine automobile, qui ne s'arrête pas pendant que la pièce rejoint le poste suivant.

Pourquoi c'est crucial pour les datacenters

L'entraînement distribué de grands modèles est l'une des tâches de calcul les plus complexes du développement actuel de l'IA. Lorsqu'on utilise 1000 GPU simultanément (et les grandes entreprises en utilisent davantage), même un faible ralentissement de la synchronisation peut gaspiller 20-30 % de l'ensemble des ressources.

mKernel promet d'éliminer entièrement cette surcharge.

Lors des premiers tests, les chercheurs observent déjà des résultats : sur des clusters multinœuds, la bibliothèque accélère la synchronisation d'un facteur 2 à 3 sur les opérations typiques. C'est particulièrement important pour le mécanisme d'attention (attention) des transformers, où la synchronisation des gradients entre GPU est la partie la plus coûteuse de l'ensemble du travail.

Ce que cela signifie

mKernel est le signe que la programmation GPU entre dans l'ère des systèmes intégrés. Auparavant, les ingénieurs écrivaient le code par couches : d'abord le calcul, puis la synchronisation, puis le transfert. Désormais, la frontière entre elles s'estompe. Cela signifie un calcul plus rapide dans les datacenters et un entraînement des grands modèles plus accessible et plus rapide. Et surtout, la prochaine génération de systèmes distribués sera conçue de manière totalement nouvelle.