MoonMath AI выпустила open-source HIP-ядро для AMD MI300X, обогнавшее официальный AITER v3

MoonMath AI открыла исходники HIP-ядра вычисления attention для GPU AMD MI300X — и на каждом тестовом конфигурации оно оказалось быстрее официальной библиотеки AMD AITER v3.

Зачем это нужно AMD MI300X — флагманский AI-ускоритель AMD, прямой конкурент NVIDIA H100.

Несмотря на сопоставимые характеристики по памяти и пропускной способности, MI300X исторически проигрывал NVIDIA в экосистеме программного обеспечения: не хватало зрелых кернелов, оптимизированных под реальные задачи инференса. AITER (AI Inference and Training Engine Routines) — официальная библиотека AMD для таких оптимизаций. Именно с ней сравнивает себя новый кернел MoonMath.

Как устроен кернел

Авторы применили два ключевых решения: Однострочные asm-обёртки — минимальные обёртки вокруг инструкций ассемблера AMD, которые убирают лишние уровни абстракции и дают компилятору меньше поводов для неоптимальной кодогенерации. Восьмиволновый конвейер — схема, при которой восемь волнфронтов (wavefronts, аналог варпов в NVIDIA) работают параллельно и перекрывают задержки памяти вычислениями. Вместе эти техники позволяют максимально утилизировать матричные блоки MI300X без простоев. Результат — превосходство над AITER v3 на всех формах тензоров (shape) и всех режимах округления (rounding mode), что особенно важно для квантизованного инференса.

Что значит «open-source» здесь MoonMath AI выложила код под открытой лицензией.

Это означает, что любой разработчик или компания может: интегрировать ядро в собственный инференс-стек на AMD изучить приёмы оптимизации и применить их в других кернелах * форкнуть и адаптировать под конкретные модели или размеры батча Подобные публикации ускоряют экосистему AMD быстрее, чем внутренние roadmap-релизы вендора: сообщество видит реальный код, а не маркетинговые бенчмарки.

Что это значит

Сторонняя команда публично опередила AMD на её собственном железе — это сигнал для рынка: MI300X способен конкурировать с NVIDIA H100 при наличии правильных низкоуровневых оптимизаций. Для инфраструктурных команд, которые сейчас выбирают между AMD и NVIDIA, появился ещё один весомый аргумент в пользу красного лагеря.