Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
ИнфраструктураОткрытые веса · В работуX: @0x0SojalSec→ оригинал

Sciforium разогнала DeepSeek-V4.1-Flash на AMD до 1 129 токенов в секунду

Команда Sciforium разогнала DeepSeek-V4.1-Flash на четырёх GPU AMD MI355X: на реальном трафике скорость выросла с 835 до 1 129 токенов в секунду (P90). Помогло спекулятивное декодирование: маленькая модель-черновик угадывает несколько токенов вперёд, а большая проверяет их разом. Черновик дообучили на настоящих запросах клиентов и удлинили догадку с 5 до 7 токенов. Вывод: подгонка черновика под свой трафик дала около 35% прироста без смены весов.

AI-обработка оригинала X: @0x0SojalSec; редакция Hamidun News
Sciforium разогнала DeepSeek-V4.1-Flash на AMD до 1 129 токенов в секунду
Источник: X: @0x0SojalSec. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @0x0SojalSec ↗
Главный редактор
Ключевой факт #1Замер по P90 на живом продакшн-трафике, а не на игрушечном бенчмарке
Веса DeepSeek оригинальныедообучен только маленький черновик
Ключевой факт #3Рост с 835 до 1 129 токенов/с — примерно +35% на четырёх MI355X

Скорость ответа модели — это деньги. Чем быстрее GPU выдаёт токены, тем меньше карт нужно под тот же трафик и тем реже пользователь смотрит на мигающий курсор. Поэтому свежий результат стартапа Sciforium заслуживает внимания тех, кто сам гоняет большие модели в продакшне: их сборка DeepSeek-V4.1-Flash выдаёт 1 129 выходных токенов в секунду на четырёх ускорителях AMD Instinct MI355X. Раньше та же связка давала 835.

Что именно ускорили

Важные детали из заявления компании. Замер сделан по P90 — это не лучший случай, а показатель, который держится у подавляющего большинства запросов. Трафик настоящий, клиентский, а не синтетический прогон. Модель использована с оригинальными весами: её не дистиллировали и не урезали. Прирост составил примерно 35%.

Авторы подчёркивают и контекст: ещё недавно многие сомневались, что видеокарты AMD способны тянуть тяжёлые LLM-нагрузки в продакшне наравне с Nvidia. Этот кейс — аргумент в пользу того, что при хорошей инженерной работе разрыв закрывается.

Как работает трюк с черновиком

Основа ускорения — спекулятивное декодирование. Представьте, что опытный редактор вычитывает текст за стажёром. Писать с нуля медленно, а проверять готовый абзац быстро: редактор окидывает взглядом сразу несколько фраз и одобряет их разом. Здесь стажёр — маленькая модель-черновик (drafter), которая предлагает несколько токенов вперёд. Редактор — большая DeepSeek-V4.1-Flash, проверяющая все предложенные токены за один проход. Если догадки верны, за один шаг большой модели получается сразу несколько токенов вместо одного. Если нет — лишнее отбрасывается, и качество ответа остаётся таким, как у большой модели.

Весь выигрыш зависит от того, как часто черновик угадывает. Sciforium назвала свой подход traffic-tuned speculators: черновик дообучили на реальных данных клиентов, то есть на тех запросах и ответах, которые модель видит на самом деле. Универсальный черновик хорошо угадывает общие тексты, но спотыкается на специфике. Если же ваш трафик — шаблонные ответы поддержки, код определённого стека или структурированный JSON, то обученный на нём черновик попадает в цель заметно чаще.

Второй рычаг — длина догадки. Её подняли с 5 до 7 токенов за раз. Это работает только при высокой точности черновика: чем длиннее цепочка, тем выше риск, что где-то в конце он ошибётся и вся хвостовая часть пропадёт. Рост длины окупился именно потому, что черновик стал лучше соответствовать трафику.

Третий слой — глубокая оптимизация ядер под AMD, то есть низкоуровневого кода, который выполняет вычисления на MI355X. Судя по тексту поста, команда подчёркивает, что обошлась без переписывания движка vLLM: усилия пошли на черновик и ядра.

Что из этого взять себе

Первое: если вы сами хостите открытую модель, настройка спекулятивного декодирования под свой трафик может дать десятки процентов скорости без потери качества и без смены весов. Это дешевле, чем покупать больше GPU.

Второе: для этого нужны логи реальных запросов. Те, кто их собирает и умеет дообучать мелкую модель, получают преимущество над теми, кто берёт универсальный черновик из коробки.

Третье: AMD в инференсе становится рабочим вариантом, а не экспериментом. Для основателей это рычаг в переговорах о цене за вычисления и способ не зависеть от одного поставщика.

Ограничения

Это заявление самой компании, и независимых замеров пока нет. Результат относится к конкретной связке: DeepSeek-V4.1-Flash, четыре MI355X и трафик клиентов Sciforium. На другой нагрузке выигрыш будет другим: у разговорного чата, кода и длинных рассуждений доля удачных догадок черновика различается. Пост не раскрывает всех условий замера, так что сравнивать цифры с чужими бенчмарками стоит осторожно. Сам вектор при этом понятен и воспроизводим: обучать черновик на своих данных, подбирать длину догадки и оптимизировать ядра под железо.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно ускорили?

Важные детали из заявления компании. Замер сделан по P90 — это не лучший случай, а показатель, который держится у подавляющего большинства запросов. Трафик настоящий, клиентский, а не синтетический прогон. Модель использована с оригинальными весами: её не дистиллировали и не урезали. Прирост составил примерно 35%. Авторы подчёркивают и контекст: ещё недавно многие сомневались, что видеокарты AMD способны тянуть тяжёлые LLM-нагрузки в продакшне наравне с Nvidia.

Что известно по теме: как работает трюк с черновиком?

Основа ускорения — спекулятивное декодирование. Представьте, что опытный редактор вычитывает текст за стажёром. Писать с нуля медленно, а проверять готовый абзац быстро: редактор окидывает взглядом сразу несколько фраз и одобряет их разом. Здесь стажёр — маленькая модель-черновик (drafter), которая предлагает несколько токенов вперёд. Редактор — большая DeepSeek-V4.1-Flash, проверяющая все предложенные токены за один проход.

Что известно по теме: что из этого взять себе?

Первое: если вы сами хостите открытую модель, настройка спекулятивного декодирования под свой трафик может дать десятки процентов скорости без потери качества и без смены весов. Это дешевле, чем покупать больше GPU. Второе: для этого нужны логи реальных запросов. Те, кто их собирает и умеет дообучать мелкую модель, получают преимущество над теми, кто берёт универсальный черновик из коробки. Третье: AMD в инференсе становится рабочим вариантом, а не экспериментом.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…