Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarTogether AI Blog→ original

Together AI remplace les mégakernels par des agents IA et accélère Llama 1B de 28 % sur B200

Together AI abandonne les mégakernels, ces kernels GPU géants qui exécutent tout le modèle d'un bloc, au profit de Together Compiler, où des agents IA réécrivent et fusionnent les kernels. Sur B200, Llama 3.2 1B atteint 2118 tokens/s, contre 1649 pour un mégakernel manuel, soit 28% de plus. En production, le mégakernel ne gérait qu'un seul modèle, une seule taille de batch et un seul client. Pour gagner en vitesse, la recherche automatique est donc plus rentable que l'assemblage manuel.

Traité par IA depuis Together AI Blog ; édité par Hamidun News
Together AI remplace les mégakernels par des agents IA et accélère Llama 1B de 28 % sur B200
Source : Together AI Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTogether AI Blog ↗
Rédacteur en chef
Chiffre clé #1CUDA Graphs et PDL sur les kernels standard d'Inductor donnent 98% de la vitesse du mégakernel
Chiffre clé #2Sur H100, les agents et les multi-kernels ont devancé les anciens mégakernels jusqu'à 1,7 fois : 1100+ tokens/s
Chiffre clé #3Le flag freezing d'Inductor accélérait les gros batchs de 10 à 26%, mais ralentissait de 49% sur un batch de 1

Il y a un an, Together AI vantait ses mégakernels : toute la passe avant du modèle s'exécutait dans un unique kernel GPU géant, avec une vitesse record. Aujourd'hui, la même équipe écrit qu'elle n'en a plus besoin. À la place, l'entreprise a lancé Together Compiler, un système où des agents IA réécrivent et fusionnent les kernels du modèle. Sur NVIDIA B200, il atteint 2118 tokens par seconde sur Llama 3.2 1B, contre 1649 pour un mégakernel manuel. L'écart est de 28%. Pour ceux qui paient l'inférence, l'intérêt de cette histoire n'est pas le record, mais l'analyse de l'origine réelle de la vitesse.

Pourquoi le mégakernel n'a pas atteint la production

Le mégakernel réglait trois problèmes de l'inférence classique. Le premier : le surcoût de lancement de chaque kernel. Dans PyTorch, un seul appel de down-projection sur H100 coûte 37 microsecondes de dispatch pour 15 microsecondes de travail effectif du GPU. Même le C++ pur ajoute environ 2 microsecondes par lancement, et une seule passe en compte des centaines. Deuxième problème : l'absence de recouvrement, alors que les poids de la couche suivante pourraient être chargés pendant le calcul de la couche courante. Troisième problème : la charge inégale des multiprocesseurs (SM), dont certains terminent plus tôt que d'autres et restent inactifs.

Sur Llama 1B, le mégakernel a produit 990 tokens/s, contre 669 pour Torch Inductor standard, soit 48% de plus. Mais en production, la réalité s'est révélée moins favorable. En 2025, un chercheur a passé plusieurs mois à intégrer un KV-cache paginé, à porter le code sur Blackwell et à traquer des data races. Les auteurs résument le résultat ainsi : un seul modèle, une seule taille de batch (1), une seule précision (BF16) et un seul client. La vitesse est excellente, mais il n'y a aucune flexibilité.

L'équipe a alors pris le chemin inverse : elle est partie de Torch Compile à 669 tokens/s et a activé une à une les optimisations du mégakernel. Avec CUDA Graphs, un lancement coûte environ 1 microseconde et le débit monte à 864 tokens/s, soit 87% du mégakernel. En ajoutant PDL (le mécanisme de NVIDIA pour faire se chevaucher des kernels voisins) sur les kernels standard d'Inductor, elle atteint 98% de la vitesse du mégakernel, sans écrire un seul kernel maison.

Où le compilateur standard perd en vitesse

L'équipe a étudié Inductor sur Llama 1B et a trouvé trois points faibles.

Premièrement, les heuristiques ne choisissent pas la meilleure configuration pour la charge de travail. Inductor compte déjà 607 flags de configuration, dont 198 ajoutés au cours de la dernière année. Le flag freezing accélère les gros batchs de 10 à 26%, mais ralentit de 49% sur un batch de 1 : les poids restent au format 32 bits et le GPU lit deux fois plus de données. Les flags s'influencent aussi mutuellement : aggressive_fusion a réduit seul le débit de 6 tokens/s, mais combiné à trois autres flags, il en a ajouté 3.

Deuxièmement, les benchmarks d'Inductor mesurent les kernels isolément, avec un cache L2 vidé, alors que dans une passe réelle les données se trouvent souvent déjà en cache. Les mesures isolées se sont avérées 39 à 58% plus lentes que les mesures en conditions réelles. Pire, dans le test avec embedding, les tokens sont initialisés à zéro, et le kernel paraît 2,1 fois plus rapide qu'avec des données aléatoires. Résultat : pour l'output-projection, Inductor a choisi un kernel Triton à 7,4 µs plutôt que cuBLAS à 6,4 µs, soit 15% plus lent. Sur le modèle MoE GLM 5.3, les entrées aléatoires du benchmark surestimaient de 4 à 21% le temps du grouped-GEMM.

Troisièmement, la fusion gloutonne par paires. Deux kernels voisins ne sont pas fusionnés parce qu'ils ne partagent pas de mémoire. Pourtant, le premier ne lance que 6 blocs sur un GPU de 132 SM, et presque toute la puce reste inactive. L'algorithme de fusion doit tenir compte de l'occupation, et pas seulement du trafic mémoire.

Ce que cela change en pratique

Trois enseignements comptent pour la production. D'abord, avant d'écrire des kernels personnalisés, activez CUDA Graphs et PDL : d'après les mesures de Together, cela restitue presque toute la vitesse du mégakernel. Ensuite, ne faites pas confiance aux flags du compilateur à l'aveugle : un même flag se comporte différemment selon les batchs, il faut donc une recherche systématique plutôt que des tâtonnements. Enfin, le benchmark doit s'exécuter au sein d'une vraie passe, sur des données réelles, en particulier pour les MoE, où l'entrée détermine le routage.

Avec les agents et les multi-kernels, l'équipe a devancé ses anciens mégakernels jusqu'à 1,7 fois et obtenu plus de 1100 tokens/s sur Llama 1B sur H100. L'idée de Together Compiler est que les agents cherchent en continu de nouvelles variantes de fusion et de réglages adaptées à un modèle, un matériel et une taille de batch donnés, au lieu de s'appuyer sur une seule implémentation manuelle.

Il y a des réserves. Tous les chiffres proviennent de mesures internes de l'entreprise, réalisées sur un très petit modèle de 1B, où le surcoût de lancement pèse particulièrement lourd. Sur des modèles plus grands, le gain peut être plus modeste, et il faut donc revérifier le résultat sur sa propre charge de travail. La direction n'en reste pas moins claire : les mégakernels manuels demeurent un outil de recherche, tandis qu'en production, c'est la recherche automatisée dans l'espace des optimisations qui l'emporte.

Dossier

Questions clés sur cet article

Pourquoi le mégakernel n'a pas atteint la production?

Le mégakernel réglait trois problèmes de l'inférence classique. Le premier : le surcoût de lancement de chaque kernel. Dans PyTorch, un seul appel de down-projection sur H100 coûte 37 microsecondes de dispatch pour 15 microsecondes de travail effectif du GPU. Même le C++ pur ajoute environ 2 microsecondes par lancement, et une seule passe en compte des centaines. Deuxième problème : l'absence de recouvrement, alors que les poids de la couche suivante pourraient être chargés pendant le calcul de la couche courante.

Que sait-on sur Où le compilateur standard perd en vitesse ?

L'équipe a étudié Inductor sur Llama 1B et a trouvé trois points faibles. Premièrement, les heuristiques ne choisissent pas la meilleure configuration pour la charge de travail. Inductor compte déjà 607 flags de configuration, dont 198 ajoutés au cours de la dernière année. Le flag freezing accélère les gros batchs de 10 à 26%, mais ralentit de 49% sur un batch de 1 : les poids restent au format 32 bits et le GPU lit deux fois plus de données.

Que sait-on sur Ce que cela change en pratique ?

Trois enseignements comptent pour la production. D'abord, avant d'écrire des kernels personnalisés, activez CUDA Graphs et PDL : d'après les mesures de Together, cela restitue presque toute la vitesse du mégakernel. Ensuite, ne faites pas confiance aux flags du compilateur à l'aveugle : un même flag se comporte différemment selon les batchs, il faut donc une recherche systématique plutôt que des tâtonnements.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…