MoonMath AI publica un kernel HIP de código abierto para AMD MI300X que supera a AITER v3, la biblioteca oficial

MoonMath AI ha liberado el código de un kernel HIP para calcular attention en las GPU AMD MI300X, y en cada configuración de prueba resultó más rápido que la biblioteca oficial de AMD, AITER v3.

Por qué importa

La AMD MI300X es el acelerador de IA insignia de AMD y competidor directo de la NVIDIA H100. Pese a tener características comparables en memoria y ancho de banda, la MI300X ha ido por detrás de NVIDIA en el ecosistema de software: faltaban kernels maduros optimizados para tareas reales de inferencia.

AITER (AI Inference and Training Engine Routines) es la biblioteca oficial de AMD para este tipo de optimizaciones. Es la referencia con la que se compara el nuevo kernel de MoonMath.

Cómo funciona el kernel

Los autores aplicaron dos decisiones clave:

• Envoltorios asm de una sola línea: envoltorios mínimos alrededor de las instrucciones del ensamblador de AMD que eliminan capas de abstracción innecesarias y dan al compilador menos oportunidades de generar código subóptimo.
• Pipeline de ocho olas: un esquema en el que ocho wavefronts (el equivalente en AMD de los warps de NVIDIA) trabajan en paralelo y ocultan las latencias de memoria con cálculo.

Juntas, estas técnicas permiten aprovechar al máximo las unidades matriciales de la MI300X sin tiempos muertos.

El resultado es una ventaja sobre AITER v3 en todas las formas de tensores (shape) y todos los modos de redondeo (rounding mode), algo especialmente relevante para la inferencia cuantizada.

Qué significa «open source» aquí

MoonMath AI ha publicado el código con una licencia abierta. Esto significa que cualquier desarrollador o empresa puede:

• integrar el kernel en su propio stack de inferencia sobre AMD
• estudiar las técnicas de optimización y aplicarlas a otros kernels
• hacer un fork y adaptarlo a modelos concretos o tamaños de batch

Publicaciones como esta aceleran el ecosistema de AMD más rápido que las versiones de la hoja de ruta interna del fabricante: la comunidad ve código real, no benchmarks de marketing.

Qué significa esto

Un equipo externo ha superado públicamente a AMD en su propio hardware. Es una señal para el mercado: la MI300X puede competir con la NVIDIA H100 si cuenta con las optimizaciones de bajo nivel adecuadas. Para los equipos de infraestructura que ahora eligen entre AMD y NVIDIA, hay un argumento de peso más a favor del bando rojo.