Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
ИнфраструктураAPI / Продукт · В работуX: @SemiAnalysis_→ оригинал

Скорость MiniMax M3.1 Flash на AMD MI355X в vLLM выросла в 4 раза за 20 дней

Ускорители AMD часто проигрывали Nvidia не железом, а недоработанным софтом. SemiAnalysis сообщает: скорость модели MiniMax M3.1 Flash в движке vLLM на AMD MI355X выросла в 4 раза меньше чем за 20 дней. Помогли новые ядра Inferact на FlyDSL: они считают в фиксированном порядке, без атомарного сложения. Кто считает стоимость токена на AMD, пусть перепроверит старые замеры.

AI-обработка оригинала X: @SemiAnalysis_; редакция Hamidun News
Скорость MiniMax M3.1 Flash на AMD MI355X в vLLM выросла в 4 раза за 20 дней
Источник: X: @SemiAnalysis_. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @SemiAnalysis_ ↗
Главный редактор
Срокменьше 20 дней между двумя замерами на MiniMax M3.1 Flash
Ключевой факт #2Inferact написала ядра для AMD на FlyDSL, а не заменила сами карты
Детерминизмодин запрос даёт одинаковые числа при каждом запуске

Когда команда выбирает железо для запуска языковых моделей, она часто берёт Nvidia. Причина не в том, что карты всегда быстрее, а в том, что софт для них отточен годами. У AMD картина была обратной: ускоритель мощный, а программы для него отставали. Поэтому короткий пост аналитиков SemiAnalysis привлёк внимание: по их данным, скорость работы модели MiniMax M3.1 Flash в движке vLLM на ускорителе AMD MI355X выросла в 4 раза меньше чем за 20 дней.

Что именно случилось

Расшифруем названия. AMD MI355X — это ускоритель для задач ИИ, аналог топовых карт Nvidia. vLLM — открытый движок, который запускает языковые модели и обслуживает запросы к ним. MiniMax M3.1 Flash — сама модель, на которой делали замер. Inferact — компания, которая выпустила новые ядра для карт AMD. FlyDSL — язык, на котором эти ядра написаны.

Ядро в GPU-программировании — это маленькая программа для базовой операции, например перемножения матриц или сборки ответов экспертов в MoE-модели. От качества таких программ напрямую зависит, сколько токенов в секунду выдаст карта. Плохое ядро означает, что дорогая карта простаивает. По сообщению SemiAnalysis, рост в 4 раза получен благодаря новым ядрам Inferact. Это типичная история оптимизации софта: сама карта осталась прежней, а работать она стала заметно быстрее.

Важная оговорка: в посте нет абсолютных цифр. Нет ни токенов в секунду, ни стартового уровня, ни настроек теста. Значит, «в 4 раза» — это рост относительно начальной точки, а не вердикт «AMD быстрее Nvidia».

Что значит «детерминированные» ядра

Авторы отдельно отмечают, что новые ядра детерминированные: они никогда не используют атомарное сложение для накопления результатов. Представьте сотню кассиров, которые одновременно дописывают выручку в одну общую ячейку. Атомарное сложение гарантирует, что ни одна запись не потеряется. Но порядок записей каждый раз немного разный.

В школьной арифметике порядок слагаемых не важен. В вычислениях с плавающей точкой он важен: из-за округления сумма может отличаться в последних знаках. Поэтому один и тот же запрос к модели на том же железе иногда даёт чуть разные числа от запуска к запуску. Детерминированное ядро собирает результат в фиксированном порядке, и ответ повторяется бит в бит.

Вот где это пригождается. Вы обновили версию vLLM или поменяли настройки и хотите понять, стала ли модель отвечать хуже. Если расчёты не повторяются, нельзя отличить реальную деградацию от шума. С воспроизводимыми ядрами тест даёт одинаковый результат. То же касается отладки странного ответа и обучения с подкреплением, где расхождения между генерацией и обучением портят сигнал.

Обычно воспроизводимость покупают скоростью. Поэтому интересно именно сочетание: ядра детерминированные и при этом дали рост в 4 раза. Пост при этом не утверждает, что одно вызвало другое. Он лишь сообщает, что прирост достигнут с такими ядрами.

Что делать на практике

Во-первых, не списывайте AMD по замерам месячной давности. Если ваш расчёт стоимости токена или выбор кластера опирается на старые цифры, они могли устареть в разы. Во-вторых, проверьте результат на своей модели: рост показан для одной конкретной MiniMax M3.1 Flash, на других архитектурах он может быть другим. В-третьих, если вам нужна воспроизводимость, проверьте, какие ядра включены в вашей сборке vLLM.

Есть и честные ограничения. Это пост в X, а не технический отчёт: нет методики, нет сравнения с Nvidia, нет данных по задержке и цене. Рост за 20 дней мог начаться с низкой точки, когда поддержка модели только появилась. Но направление понятно: конкуренция в инференсе всё чаще решается на уровне ядер и компиляторов, а не только кремния. Чем лучше открытый софт для AMD, тем больше у команд выбора и аргументов в переговорах о цене.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно случилось?

Расшифруем названия. AMD MI355X — это ускоритель для задач ИИ, аналог топовых карт Nvidia. vLLM — открытый движок, который запускает языковые модели и обслуживает запросы к ним. MiniMax M3.1 Flash — сама модель, на которой делали замер. Inferact — компания, которая выпустила новые ядра для карт AMD. FlyDSL — язык, на котором эти ядра написаны. Ядро в GPU-программировании — это маленькая программа для базовой операции, например перемножения матриц или сборки ответов экспертов в MoE-модели.

Что известно по теме: что значит «детерминированные» ядра?

Авторы отдельно отмечают, что новые ядра детерминированные: они никогда не используют атомарное сложение для накопления результатов. Представьте сотню кассиров, которые одновременно дописывают выручку в одну общую ячейку. Атомарное сложение гарантирует, что ни одна запись не потеряется. Но порядок записей каждый раз немного разный. В школьной арифметике порядок слагаемых не важен. В вычислениях с плавающей точкой он важен: из-за округления сумма может отличаться в последних знаках.

Что известно по теме: что делать на практике?

Во-первых, не списывайте AMD по замерам месячной давности. Если ваш расчёт стоимости токена или выбор кластера опирается на старые цифры, они могли устареть в разы. Во-вторых, проверьте результат на своей модели: рост показан для одной конкретной MiniMax M3.1 Flash, на других архитектурах он может быть другим. В-третьих, если вам нужна воспроизводимость, проверьте, какие ядра включены в вашей сборке vLLM. Есть и честные ограничения.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…