Sciforium разогнала DeepSeek-V4.1-Flash на AMD до 1 129 токенов в секунду
Команда Sciforium разогнала DeepSeek-V4.1-Flash на четырёх GPU AMD MI355X: на реальном трафике скорость выросла с 835 до 1 129 токенов в секунду (P90). Помогло спекулятивное декодирование: маленькая модель-черновик угадывает несколько токенов вперёд, а большая проверяет их разом. Черновик дообучили на настоящих запросах клиентов и удлинили догадку с 5 до 7 токенов. Вывод: подгонка черновика под свой трафик дала около 35% прироста без смены весов.
AI-обработка оригинала X: @0x0SojalSec; редакция Hamidun News
Скорость ответа модели — это деньги. Чем быстрее GPU выдаёт токены, тем меньше карт нужно под тот же трафик и тем реже пользователь смотрит на мигающий курсор. Поэтому свежий результат стартапа Sciforium заслуживает внимания тех, кто сам гоняет большие модели в продакшне: их сборка DeepSeek-V4.1-Flash выдаёт 1 129 выходных токенов в секунду на четырёх ускорителях AMD Instinct MI355X. Раньше та же связка давала 835.
Что именно ускорили
Важные детали из заявления компании. Замер сделан по P90 — это не лучший случай, а показатель, который держится у подавляющего большинства запросов. Трафик настоящий, клиентский, а не синтетический прогон. Модель использована с оригинальными весами: её не дистиллировали и не урезали. Прирост составил примерно 35%.
Авторы подчёркивают и контекст: ещё недавно многие сомневались, что видеокарты AMD способны тянуть тяжёлые LLM-нагрузки в продакшне наравне с Nvidia. Этот кейс — аргумент в пользу того, что при хорошей инженерной работе разрыв закрывается.
Как работает трюк с черновиком
Основа ускорения — спекулятивное декодирование. Представьте, что опытный редактор вычитывает текст за стажёром. Писать с нуля медленно, а проверять готовый абзац быстро: редактор окидывает взглядом сразу несколько фраз и одобряет их разом. Здесь стажёр — маленькая модель-черновик (drafter), которая предлагает несколько токенов вперёд. Редактор — большая DeepSeek-V4.1-Flash, проверяющая все предложенные токены за один проход. Если догадки верны, за один шаг большой модели получается сразу несколько токенов вместо одного. Если нет — лишнее отбрасывается, и качество ответа остаётся таким, как у большой модели.
Весь выигрыш зависит от того, как часто черновик угадывает. Sciforium назвала свой подход traffic-tuned speculators: черновик дообучили на реальных данных клиентов, то есть на тех запросах и ответах, которые модель видит на самом деле. Универсальный черновик хорошо угадывает общие тексты, но спотыкается на специфике. Если же ваш трафик — шаблонные ответы поддержки, код определённого стека или структурированный JSON, то обученный на нём черновик попадает в цель заметно чаще.
Второй рычаг — длина догадки. Её подняли с 5 до 7 токенов за раз. Это работает только при высокой точности черновика: чем длиннее цепочка, тем выше риск, что где-то в конце он ошибётся и вся хвостовая часть пропадёт. Рост длины окупился именно потому, что черновик стал лучше соответствовать трафику.
Третий слой — глубокая оптимизация ядер под AMD, то есть низкоуровневого кода, который выполняет вычисления на MI355X. Судя по тексту поста, команда подчёркивает, что обошлась без переписывания движка vLLM: усилия пошли на черновик и ядра.
Что из этого взять себе
Первое: если вы сами хостите открытую модель, настройка спекулятивного декодирования под свой трафик может дать десятки процентов скорости без потери качества и без смены весов. Это дешевле, чем покупать больше GPU.
Второе: для этого нужны логи реальных запросов. Те, кто их собирает и умеет дообучать мелкую модель, получают преимущество над теми, кто берёт универсальный черновик из коробки.
Третье: AMD в инференсе становится рабочим вариантом, а не экспериментом. Для основателей это рычаг в переговорах о цене за вычисления и способ не зависеть от одного поставщика.
Ограничения
Это заявление самой компании, и независимых замеров пока нет. Результат относится к конкретной связке: DeepSeek-V4.1-Flash, четыре MI355X и трафик клиентов Sciforium. На другой нагрузке выигрыш будет другим: у разговорного чата, кода и длинных рассуждений доля удачных догадок черновика различается. Пост не раскрывает всех условий замера, так что сравнивать цифры с чужими бенчмарками стоит осторожно. Сам вектор при этом понятен и воспроизводим: обучать черновик на своих данных, подбирать длину догадки и оптимизировать ядра под железо.
- 18 нояб. 2026 г.Одна китайская запятая переключила DeepSeek на китайский в 94% ответов
- 18 нояб. 2026 г.ИИ ищет неизвестные уязвимости в V8 за $4,24 и 13 минут, а в феврале не нашёл за $350
- 18 нояб. 2026 г.ИИ-агенты выпустили 228 релизов игры без ревью человека; 25% задач вернули тесты
- 18 нояб. 2026 г.Tencent Hy4 flash набрала 2,79 из 4 против 2,81 у Haiku 5.5 и стоит в 18 раз дешевле за задачу
Вопросы и ответы по материалу
Что известно по теме: что именно ускорили?
Важные детали из заявления компании. Замер сделан по P90 — это не лучший случай, а показатель, который держится у подавляющего большинства запросов. Трафик настоящий, клиентский, а не синтетический прогон. Модель использована с оригинальными весами: её не дистиллировали и не урезали. Прирост составил примерно 35%. Авторы подчёркивают и контекст: ещё недавно многие сомневались, что видеокарты AMD способны тянуть тяжёлые LLM-нагрузки в продакшне наравне с Nvidia.
Что известно по теме: как работает трюк с черновиком?
Основа ускорения — спекулятивное декодирование. Представьте, что опытный редактор вычитывает текст за стажёром. Писать с нуля медленно, а проверять готовый абзац быстро: редактор окидывает взглядом сразу несколько фраз и одобряет их разом. Здесь стажёр — маленькая модель-черновик (drafter), которая предлагает несколько токенов вперёд. Редактор — большая DeepSeek-V4.1-Flash, проверяющая все предложенные токены за один проход.
Что известно по теме: что из этого взять себе?
Первое: если вы сами хостите открытую модель, настройка спекулятивного декодирования под свой трафик может дать десятки процентов скорости без потери качества и без смены весов. Это дешевле, чем покупать больше GPU. Второе: для этого нужны логи реальных запросов. Те, кто их собирает и умеет дообучать мелкую модель, получают преимущество над теми, кто берёт универсальный черновик из коробки. Третье: AMD в инференсе становится рабочим вариантом, а не экспериментом.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.