Ai2 dévoile son planificateur GPU : trois mécanismes contre les files d'attente et l'inactivité

Ai2 décrit un nouveau planificateur pour son cluster GPU. Il repose sur trois mécanismes : les budgets de temps, le partage équitable des ressources (fair-share) et le time-slicing. Il poursuit trois objectifs : orienter les calculs vers les recherches les plus importantes, réduire l'attente en file et empêcher les accélérateurs de rester inactifs. L'annonce ne donne aucun chiffre : ni la taille du cluster, ni le taux d'utilisation, ni les temps d'attente avant et après. Elle décrit donc l'architecture de la solution, pas des résultats.

Trois mécanismes dans un seul système

D'après la description, chaque mécanisme répond à un problème distinct des clusters partagés.

Les budgets de temps fixent le nombre d'heures GPU qu'une équipe ou un projet peut consommer. Cette limite rend la consommation visible et oblige à planifier les expériences à l'avance, au lieu de tout lancer sans discernement.

Le fair-share veille à ce que personne n'occupe le cluster trop longtemps. Si une équipe a déjà beaucoup consommé, ses nouvelles tâches passent après celles des équipes qui ont moins utilisé. C'est une idée classique de Slurm et d'autres planificateurs HPC, qu'Ai2 applique à son travail de recherche.

Le time-slicing permet à plusieurs tâches de se partager tour à tour un même accélérateur. Le matériel coûteux ne reste alors pas inactif entre deux courts lancements, et les petites expériences n'attendent pas qu'une machine entière se libère.

Une priorité fondée sur l'impact

Le plus intéressant ici est la formule « high-impact research ». Les planificateurs s'appuient d'ordinaire sur des critères formels : qui est arrivé le premier dans la file, combien a déjà été consommé, quel est le quota de l'utilisateur. Ai2 affirme tenir compte aussi de la valeur du travail. L'annonce ne précise pas comment elle est évaluée. Cela peut relever d'une décision des responsables de projet, du type de tâche ou de la phase de l'expérience. De la réponse dépend le résultat : une répartition réellement équitable, ou simplement une nouvelle manière de négocier des quotas.

Pour un institut à but non lucratif, la question est sensible. Ai2 entraîne des modèles ouverts et mène des recherches, tout en se disputant les capacités de calcul avec des laboratoires dont les clusters sont de plusieurs ordres de grandeur plus grands. Là-bas, chaque heure GPU inutilisée coûte plus cher.

Ce que l'article annonce :

• trois mécanismes : budgets de temps, fair-share, time-slicing ;
• objectif de priorité : soutenir les recherches à fort impact ;
• objectif sur la file d'attente : réduire le temps d'attente ;
• objectif d'utilisation : garder les GPU occupés ;
• résultats chiffrés, taille du cluster et détails d'implémentation : non divulgués.

Ce que vous pouvez en retenir

Le modèle s'applique à toute équipe qui dispose de moins de GPU que de personnes souhaitant les utiliser. Quelques conclusions pratiques.

Premièrement : commencez par la comptabilité. Sans données sur qui consomme combien d'heures GPU, ni les budgets ni le fair-share ne fonctionneront. Mesurez au moins deux indicateurs : le temps d'attente médian en file et la part du temps où les accélérateurs calculent réellement.

Deuxièmement : séparez les classes de tâches. Un long entraînement et un court débogage exigent des règles différentes. Le time-slicing sert surtout la seconde classe. Pour la première, il peut dégrader l'efficacité à cause des changements de contexte et de la concurrence sur la mémoire du GPU.

Troisièmement : décidez d'avance comment s'exprime l'« impact ». Si le critère n'est pas écrit, les priorités se transformeront en négociations et les budgets stricts finiront contournés.

Mieux vaut attendre qu'Ai2 publie des chiffres. La file a-t-elle raccourci, de combien l'utilisation a-t-elle progressé, comment les équipes ont-elles réagi aux limites : ces données montreront si le dispositif fait mieux qu'un fair-share ordinaire. Pour l'instant, c'est la promesse d'une bonne pratique d'ingénierie, sans preuve de son efficacité.