MoonMath AI publie un noyau HIP open source pour l'AMD MI300X qui dépasse l'AITER v3 officiel

MoonMath AI a publié le code source d'un noyau HIP pour le calcul de l'attention sur les GPU AMD MI300X, et sur chaque configuration de test, il s'est montré plus rapide que la bibliothèque officielle d'AMD, AITER v3.

Pourquoi c'est important

L'AMD MI300X est l'accélérateur d'IA phare d'AMD et un concurrent direct du NVIDIA H100. Malgré des caractéristiques comparables en mémoire et en bande passante, le MI300X a historiquement été distancé par NVIDIA sur l'écosystème logiciel : il manquait de noyaux matures optimisés pour des tâches d'inférence réelles.

AITER (AI Inference and Training Engine Routines) est la bibliothèque officielle d'AMD pour ce type d'optimisations. C'est à elle que le nouveau noyau de MoonMath se compare.

Comment fonctionne le noyau

Les auteurs ont retenu deux choix clés :

• Wrappers asm d'une seule ligne : des wrappers minimaux autour des instructions de l'assembleur AMD, qui suppriment des couches d'abstraction superflues et laissent moins de occasions au compilateur de générer du code sous-optimal.
• Pipeline à huit vagues : un schéma où huit wavefronts (l'équivalent AMD des warps de NVIDIA) s'exécutent en parallèle et masquent les latences mémoire par du calcul.

Combinées, ces techniques permettent d'exploiter au maximum les unités matricielles du MI300X, sans temps morts.

Le résultat : une supériorité sur AITER v3 pour toutes les formes de tenseurs (shape) et tous les modes d'arrondi (rounding mode), ce qui compte tout particulièrement pour l'inférence quantifiée.

Ce que signifie « open source » ici

MoonMath AI a publié le code sous licence ouverte. Concrètement, tout développeur ou toute entreprise peut :

• intégrer le noyau dans sa propre pile d'inférence sur AMD
• étudier les techniques d'optimisation et les appliquer à d'autres noyaux
• le forker et l'adapter à des modèles précis ou à des tailles de batch données

Ce type de publication fait progresser l'écosystème AMD plus vite que les versions de la feuille de route interne du fabricant : la communauté voit du code réel, pas des benchmarks marketing.

Ce que cela signifie

Une équipe tierce a publiquement devancé AMD sur son propre matériel. C'est un signal pour le marché : le MI300X peut rivaliser avec le NVIDIA H100 à condition de disposer des bonnes optimisations de bas niveau. Pour les équipes d'infrastructure qui hésitent aujourd'hui entre AMD et NVIDIA, il y a un argument de poids de plus en faveur du camp rouge.