Together AI remplace les mégakernels par des agents IA et accélère Llama 1B de 28 % sur B200
Together AI abandonne les mégakernels, ces kernels GPU géants qui exécutent tout le modèle d'un bloc, au profit de Together Compiler, où des agents IA réécrivent et fusionnent les kernels. Sur B200, Llama 3.2 1B atteint 2118 tokens/s, contre 1649 pour un mégakernel manuel, soit 28% de plus. En production, le mégakernel ne gérait qu'un seul modèle, une seule taille de batch et un seul client. Pour gagner en vitesse, la recherche automatique est donc plus rentable que l'assemblage manuel.
Traité par IA depuis Together AI Blog ; édité par Hamidun News
Il y a un an, Together AI vantait ses mégakernels : toute la passe avant du modèle s'exécutait dans un unique kernel GPU géant, avec une vitesse record. Aujourd'hui, la même équipe écrit qu'elle n'en a plus besoin. À la place, l'entreprise a lancé Together Compiler, un système où des agents IA réécrivent et fusionnent les kernels du modèle. Sur NVIDIA B200, il atteint 2118 tokens par seconde sur Llama 3.2 1B, contre 1649 pour un mégakernel manuel. L'écart est de 28%. Pour ceux qui paient l'inférence, l'intérêt de cette histoire n'est pas le record, mais l'analyse de l'origine réelle de la vitesse.
Pourquoi le mégakernel n'a pas atteint la production
Le mégakernel réglait trois problèmes de l'inférence classique. Le premier : le surcoût de lancement de chaque kernel. Dans PyTorch, un seul appel de down-projection sur H100 coûte 37 microsecondes de dispatch pour 15 microsecondes de travail effectif du GPU. Même le C++ pur ajoute environ 2 microsecondes par lancement, et une seule passe en compte des centaines. Deuxième problème : l'absence de recouvrement, alors que les poids de la couche suivante pourraient être chargés pendant le calcul de la couche courante. Troisième problème : la charge inégale des multiprocesseurs (SM), dont certains terminent plus tôt que d'autres et restent inactifs.
Sur Llama 1B, le mégakernel a produit 990 tokens/s, contre 669 pour Torch Inductor standard, soit 48% de plus. Mais en production, la réalité s'est révélée moins favorable. En 2025, un chercheur a passé plusieurs mois à intégrer un KV-cache paginé, à porter le code sur Blackwell et à traquer des data races. Les auteurs résument le résultat ainsi : un seul modèle, une seule taille de batch (1), une seule précision (BF16) et un seul client. La vitesse est excellente, mais il n'y a aucune flexibilité.
L'équipe a alors pris le chemin inverse : elle est partie de Torch Compile à 669 tokens/s et a activé une à une les optimisations du mégakernel. Avec CUDA Graphs, un lancement coûte environ 1 microseconde et le débit monte à 864 tokens/s, soit 87% du mégakernel. En ajoutant PDL (le mécanisme de NVIDIA pour faire se chevaucher des kernels voisins) sur les kernels standard d'Inductor, elle atteint 98% de la vitesse du mégakernel, sans écrire un seul kernel maison.
Où le compilateur standard perd en vitesse
L'équipe a étudié Inductor sur Llama 1B et a trouvé trois points faibles.
Premièrement, les heuristiques ne choisissent pas la meilleure configuration pour la charge de travail. Inductor compte déjà 607 flags de configuration, dont 198 ajoutés au cours de la dernière année. Le flag freezing accélère les gros batchs de 10 à 26%, mais ralentit de 49% sur un batch de 1 : les poids restent au format 32 bits et le GPU lit deux fois plus de données. Les flags s'influencent aussi mutuellement : aggressive_fusion a réduit seul le débit de 6 tokens/s, mais combiné à trois autres flags, il en a ajouté 3.
Deuxièmement, les benchmarks d'Inductor mesurent les kernels isolément, avec un cache L2 vidé, alors que dans une passe réelle les données se trouvent souvent déjà en cache. Les mesures isolées se sont avérées 39 à 58% plus lentes que les mesures en conditions réelles. Pire, dans le test avec embedding, les tokens sont initialisés à zéro, et le kernel paraît 2,1 fois plus rapide qu'avec des données aléatoires. Résultat : pour l'output-projection, Inductor a choisi un kernel Triton à 7,4 µs plutôt que cuBLAS à 6,4 µs, soit 15% plus lent. Sur le modèle MoE GLM 5.3, les entrées aléatoires du benchmark surestimaient de 4 à 21% le temps du grouped-GEMM.
Troisièmement, la fusion gloutonne par paires. Deux kernels voisins ne sont pas fusionnés parce qu'ils ne partagent pas de mémoire. Pourtant, le premier ne lance que 6 blocs sur un GPU de 132 SM, et presque toute la puce reste inactive. L'algorithme de fusion doit tenir compte de l'occupation, et pas seulement du trafic mémoire.
Ce que cela change en pratique
Trois enseignements comptent pour la production. D'abord, avant d'écrire des kernels personnalisés, activez CUDA Graphs et PDL : d'après les mesures de Together, cela restitue presque toute la vitesse du mégakernel. Ensuite, ne faites pas confiance aux flags du compilateur à l'aveugle : un même flag se comporte différemment selon les batchs, il faut donc une recherche systématique plutôt que des tâtonnements. Enfin, le benchmark doit s'exécuter au sein d'une vraie passe, sur des données réelles, en particulier pour les MoE, où l'entrée détermine le routage.
Avec les agents et les multi-kernels, l'équipe a devancé ses anciens mégakernels jusqu'à 1,7 fois et obtenu plus de 1100 tokens/s sur Llama 1B sur H100. L'idée de Together Compiler est que les agents cherchent en continu de nouvelles variantes de fusion et de réglages adaptées à un modèle, un matériel et une taille de batch donnés, au lieu de s'appuyer sur une seule implémentation manuelle.
Il y a des réserves. Tous les chiffres proviennent de mesures internes de l'entreprise, réalisées sur un très petit modèle de 1B, où le surcoût de lancement pèse particulièrement lourd. Sur des modèles plus grands, le gain peut être plus modeste, et il faut donc revérifier le résultat sur sa propre charge de travail. La direction n'en reste pas moins claire : les mégakernels manuels demeurent un outil de recherche, tandis qu'en production, c'est la recherche automatisée dans l'espace des optimisations qui l'emporte.
- 18 nov. 2026OpenAI lance GPT-6.2 Astra : deuxième place au classement et prix en baisse de 20%
- 18 nov. 2026Après une panne, les agents n'annulent leur travail que dans 47% des cas, alors qu'ils résolvent 84% des tâches
- 12 nov. 2026Meta* active la vérification d'âge par IA sur Instagram* dans le monde entier : les comptes des moins de 13 ans seront supprimés
- 12 nov. 2026Meta déploie Muse sur Apple Watch et Android avec trois modes d'interaction
Questions clés sur cet article
Pourquoi le mégakernel n'a pas atteint la production?
Le mégakernel réglait trois problèmes de l'inférence classique. Le premier : le surcoût de lancement de chaque kernel. Dans PyTorch, un seul appel de down-projection sur H100 coûte 37 microsecondes de dispatch pour 15 microsecondes de travail effectif du GPU. Même le C++ pur ajoute environ 2 microsecondes par lancement, et une seule passe en compte des centaines. Deuxième problème : l'absence de recouvrement, alors que les poids de la couche suivante pourraient être chargés pendant le calcul de la couche courante.
Que sait-on sur Où le compilateur standard perd en vitesse ?
L'équipe a étudié Inductor sur Llama 1B et a trouvé trois points faibles. Premièrement, les heuristiques ne choisissent pas la meilleure configuration pour la charge de travail. Inductor compte déjà 607 flags de configuration, dont 198 ajoutés au cours de la dernière année. Le flag freezing accélère les gros batchs de 10 à 26%, mais ralentit de 49% sur un batch de 1 : les poids restent au format 32 bits et le GPU lit deux fois plus de données.
Que sait-on sur Ce que cela change en pratique ?
Trois enseignements comptent pour la production. D'abord, avant d'écrire des kernels personnalisés, activez CUDA Graphs et PDL : d'après les mesures de Together, cela restitue presque toute la vitesse du mégakernel. Ensuite, ne faites pas confiance aux flags du compilateur à l'aveugle : un même flag se comporte différemment selon les batchs, il faut donc une recherche systématique plutôt que des tâtonnements.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.