Helion de PyTorch calcule les réglages des noyaux GPU à la compilation au lieu de 25 heures d'autotuning
Pour qu'un noyau GPU tourne vite, il faut choisir la taille des blocs, le nombre de threads et la profondeur du pipeline. Dans Helion, le langage de PyTorch dédié à ces noyaux, c'est l'autotuner qui s'en charge : il teste plusieurs variantes un par un. Pour un seul noyau paged-attention testé sur 72 formes de données, il a tourné 10 heures en mode rapide et 25 heures en mode complet. Désormais, le compilateur identifie le type de noyau et fixe les réglages immédiatement, sans recherche. Pour les prototypes et les nouvelles formes, on peut donc reporter la longue recherche.
Traité par IA depuis PyTorch Blog ; édité par Hamidun News
Écrire un noyau GPU ne suffit pas : pour qu'il soit rapide, il faut régler des dizaines de paramètres, comme la taille des blocs, le nombre de threads (warps) et la profondeur du pipeline de chargement. Dans Helion, le langage de PyTorch destiné aux noyaux portables de machine learning, c'est l'autotuner qui s'en charge : il compile et mesure de nombreuses variantes, puis retient la meilleure. Sa méthode est fiable, mais lente.
L'équipe qui a réglé un seul noyau paged-attention sur 72 formes de données y a passé 10 heures en mode rapide de Helion et 25 heures en mode complet. Quand les noyaux, les formes et les cartes graphiques se multiplient, le temps grimpe très vite. C'est pourquoi Helion intègre désormais des heuristiques au moment de la compilation : elles choisissent les réglages directement, sans recherche.
Comment le compilateur devine les réglages
Un seul noyau Helion peut donner des milliers de noyaux Triton différents, et l'autotuner doit en retenir un. L'heuristique procède autrement. Elle lit la représentation intermédiaire (IR) du noyau et en extrait des faits structurels : quels axes sont découpés en blocs, quelles tailles peuvent varier, quels tuiles sont actives à chaque étape. Elle en déduit ensuite une configuration prête à l'emploi.
Le noyau est d'abord rangé dans l'une des trois familles. Tout noyau contenant une multiplication matricielle, par exemple avec hl.dot ou torch.baddbmm, suit la branche matricielle, même s'il comporte d'autres opérations. Un noyau de réduction (qui ramène une ligne à un nombre plus petit de valeurs) sans multiplication matricielle suit la branche des réductions. Tous les autres sont considérés comme élémentaires. Si toutes les tailles ne sont pas connues à la compilation, l'heuristique n'est pas activée et Helion applique ses réglages par défaut.
Toutes les branches reposent sur une même analyse : combien de registres, de mémoire partagée et, sur Blackwell, de mémoire tensorielle un bloc de threads (CTA) requiert avec les tailles choisies. On en déduit le nombre de blocs pouvant tenir sur un multiprocesseur. Exemple donné dans l'article : un bloc a besoin d'un dixième des registres et de la mémoire partagée, mais de six dixièmes de la mémoire tensorielle. Deux de ces blocs ne tiennent pas, car 0,6 × 2 = 1,2, soit un dépassement de 20 %. Il ne reste donc qu'un bloc par multiprocesseur.
Ces estimations déterminent ensuite les réglages. Plus il y a d'étapes de pipeline, mieux la latence de chargement est masquée, mais six étapes peuvent occuper toute la mémoire partagée et ne laisser qu'un bloc par multiprocesseur. Trois étapes avec deux blocs sont souvent plus avantageuses. Si le nombre de blocs est inférieur à celui des multiprocesseurs, on réduit la taille du bloc. Lorsqu'un noyau de réduction lit une ligne deux fois, comme RMSNorm (qui calcule d'abord l'échelle, puis l'applique), il est préférable de garder la ligne en mémoire plutôt que de la relire.
Ce que montrent les mesures
Les auteurs insistent : l'objectif n'est pas de battre l'autotuner, qui teste des milliers de variantes. Ils veulent ajouter un point intermédiaire entre la vitesse d'exécution et le temps d'attente.
Les tests ont été menés sur H100. Neuf variantes d'attention linéaire, soit 96 combinaisons de noyau et de forme, ont été comparées aux noyaux Triton écrits à la main de la bibliothèque FLA. La configuration calculée les a dépassés et s'est révélée plus rapide que les anciens réglages de Helion sans autotuning. Sur six noyaux de production pour vLLM (deux quantificateurs FP8, RMSNorm et SiLU-and-multiply avec quantification, normalisation QK avec RoPE), le test couvrait 153 combinaisons de noyau et de forme. Ici, la configuration calculée a devancé les opérateurs CUDA/C++ écrits à la main pour vLLM. Un autotuning complet ajoute très peu à cette configuration sans coût.
Les noyaux « du quotidien » ont également été comparés à torch.compile en mode max-autotune : dix réductions sur 80 combinaisons et treize familles de noyaux matriciels sur 70 formes. Le coût de l'analyse elle-même est négligeable : l'écart de temps de compilation avec et sans heuristiques se chiffre en dizaines de millisecondes, noyé dans la compilation Triton.
Suggestions pour l'autotuner et limites
Les mêmes heuristiques peuvent fournir 5 à 20 configurations apparentées comme points de départ pour l'autotuner. La configuration principale doit être bonne par elle-même, et les configurations de secours permettent à la recherche de démarrer par des variantes prometteuses.
Les limites existent aussi. L'heuristique devine les décisions de Triton : ce qui ira dans les registres, ce qui transitera par la mémoire partagée, ce qui ne sera pas matérialisé du tout. L'estimation reste approximative. Lorsqu'un même noyau contient plusieurs multiplications matricielles, leurs réglages peuvent entrer en conflit, par exemple avec un num_warps identique pour toutes. Dans ce cas, c'est la multiplication avec accumulateur dans une boucle qui l'emporte, puis celle au volume de travail le plus important. Les mesures ont été réalisées sur H100 et portent sur des ensembles de noyaux précis.
Conclusion pratique pour qui écrit des noyaux avec Helion : sur les prototypes, les nouvelles formes et les noyaux rares, on peut désormais reporter un autotuning long, car les réglages par défaut sont maintenant proches de ceux obtenus après tuning. Si vous livrez un ensemble fixe de formes, il reste recommandé de lancer un autotuning complet une fois avant la mise en production.
- 21 nov. 2026Nvidia a doublé son bénéfice, mais l'action recule de 2 % à cause de la recherche d'un nouveau PDG
- 21 nov. 2026Nous Research a réentraîné le modèle chinois Qwen3.8 : la propagande dans les réponses tombe de 22 % à 1 %
- 21 nov. 2026Samsung veut racheter Modine, fournisseur de refroidissement pour datacenters, pour près de 6 milliards de dollars
- 21 nov. 2026Reuters : les chantiers d'IA chinois à 3,2 milliards de dollars reposent sur les puces Nvidia, et Huang a quitté la direction
Questions clés sur cet article
Comment le compilateur devine les réglages?
Un seul noyau Helion peut donner des milliers de noyaux Triton différents, et l'autotuner doit en retenir un. L'heuristique procède autrement. Elle lit la représentation intermédiaire (IR) du noyau et en extrait des faits structurels : quels axes sont découpés en blocs, quelles tailles peuvent varier, quels tuiles sont actives à chaque étape. Elle en déduit ensuite une configuration prête à l'emploi. Le noyau est d'abord rangé dans l'une des trois familles.
Que sait-on sur Ce que montrent les mesures ?
Les auteurs insistent : l'objectif n'est pas de battre l'autotuner, qui teste des milliers de variantes. Ils veulent ajouter un point intermédiaire entre la vitesse d'exécution et le temps d'attente. Les tests ont été menés sur H100. Neuf variantes d'attention linéaire, soit 96 combinaisons de noyau et de forme, ont été comparées aux noyaux Triton écrits à la main de la bibliothèque FLA. La configuration calculée les a dépassés et s'est révélée plus rapide que les anciens réglages de Helion sans autotuning.
Que sait-on sur Suggestions pour l'autotuner et limites ?
Les mêmes heuristiques peuvent fournir 5 à 20 configurations apparentées comme points de départ pour l'autotuner. La configuration principale doit être bonne par elle-même, et les configurations de secours permettent à la recherche de démarrer par des variantes prometteuses. Les limites existent aussi. L'heuristique devine les décisions de Triton : ce qui ira dans les registres, ce qui transitera par la mémoire partagée, ce qui ne sera pas matérialisé du tout. L'estimation reste approximative.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.