Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИнфраструктураКод / SDK · В работуModal Blog→ оригинал

Modal ускорила генерацию Sakana Namazu на 35% с помощью модели-черновика

Ускорить LLM для рабочего API мешают две вещи: дорогая память GPU и медленная генерация ответа. Для Sakana Namazu примерно на триллион параметров Modal совместила выборочное сжатие весов с небольшой моделью, которая предлагает продолжение на проверку основной. По данным команды, задержка на токен снизилась примерно на 35%, а одна реплика смогла принимать примерно на 40% больше трафика до роста очередей.

AI-обработка оригинала Modal Blog; редакция Hamidun News
Modal ускорила генерацию Sakana Namazu на 35% с помощью модели-черновика
Источник: Modal Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникModal Blog ↗
Главный редактор
Ключевой факт #1При сжатии проверяли японские диалоги, характерные для задач модели.
Ключевой факт #2Помощника обучали на исходных ID токенов, сохраняя границы внутри JSON.
Ключевой факт #3Результаты получены на нагрузке Sakana; свой API нужно измерять отдельно.

Если ваш ИИ-сервис долго отвечает, покупка дополнительных GPU может оказаться дорогим способом обойти проблему. Часть времени ускорители ждут, часть работы повторяется, а небольшая модель, призванная ускорять генерацию, плохо угадывает продолжение. В опубликованном 23 октября разборе Modal команда показывает, как эти проблемы решали для Sakana Namazu — модели примерно на триллион параметров, ориентированной на японские бизнес-задачи, веб-поиск и выполнение кода.

Главный результат первого этапа: по данным Modal, задержка генерации одного токена снизилась примерно на 35%. Реплика смогла обслуживать примерно на 40% больше трафика до того, как начинали расти очереди. За этими цифрами стоят несколько отдельных изменений, и для разработчика здесь полезнее последовательность решений, чем обещание такого же ускорения.

Сжимать веса с оглядкой на реальные задачи

Namazu использует архитектуру Mixture-of-Experts: внутри модели есть множество специализированных блоков, а маршрутизатор выбирает, какие задействовать. Основной объём параметров приходится на эти блоки. Именно выбираемых экспертов инженеры перевели в NVFP4 — формат низкой точности для GPU NVIDIA Blackwell. Механизм внимания, маршрутизатор и общие эксперты сохранили в BF16.

Зачем такая избирательность? Сжатие освобождает память, но проверка на привычных английских тестах может пропустить ухудшение японских ответов. Поэтому параметры сжатия настраивали на диалогах, похожих на рабочие задачи Namazu, с большой долей японского языка. По сообщению команды, качество выполнения японских инструкций осталось в пределах погрешности используемых тестов относительно производственной версии модели.

Представьте помощника, который составляет деловые письма японским клиентам. После сжатия он может по-прежнему хорошо решать английские задачи, но хуже выдерживать нужную форму обращения. Практический вывод: в проверочную выборку должны входить язык, стиль и сценарии вашего продукта. Одного общего рейтинга недостаточно.

Модель-черновик должна знать ваш трафик

Второй приём — speculative decoding. Маленькая модель предлагает несколько следующих токенов, большая проверяет их за один проход. Чем больше предложений она принимает, тем реже приходится запускать очередной шаг генерации.

Обычный помощник плохо предсказывал японский деловой стиль Namazu: доля принятых токенов была ниже 40%. Команда обучила собственную модель DFlash на характерных для Namazu данных. Существенная деталь: сохраняли исходные идентификаторы токенов. Превращение ответа в текст и последующая токенизация могут изменить границы токенов внутри вызовов инструментов и JSON, хотя видимая строка останется прежней.

После запуска API появился материал для следующего улучшения. Нового помощника на архитектуре DFlash2 обучили примерно на миллионе реальных запросов. В сравнении двух одинаковых конфигураций сервинга использовали тысячу отложенных запросов с пользовательскими настройками генерации. Среднее число принятых токенов за шаг выросло с 3,51 до 5,01 — на 43%. Задержка p99 снизилась с 68 до 52 секунд. Это показатель медленных ответов: примерно 99% запросов укладываются в указанное время.

Очередь тоже входит во время ответа

Инженеры также убрали ожидание между CPU и GPU в цикле проверки черновиков, подключили более быстрые вычислительные ядра и стали повторно использовать подготовительные операции. При работе на четырёх GPU пришлось обеспечить единое решение о принятии токенов: редкое расхождение между устройствами вызывало зависания.

Отдельно изменили распределение запросов между репликами. Маршрутизатор учитывает, где уже сохранены вычисления для начала промпта, и одновременно следит за нагрузкой. Это сократило очереди и всплески ожидания первого токена, хотя сама скорость последующей генерации не изменилась.

Ограничения у кейса существенные: результаты публикует поставщик инфраструктуры, независимой проверки в материале нет, стоимость запроса не раскрыта. Проценты разных оптимизаций нельзя складывать, а тысяча запросов не описывает любую будущую нагрузку. Для собственного API разумный первый шаг — отдельно измерить ожидание первого токена, скорость генерации и очереди, затем сравнивать изменения на одинаковых запросах. Так станет понятно, нужен ли вам новый помощник, настройка сжатия или исправление распределения нагрузки.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: сжимать веса с оглядкой на реальные задачи?

Namazu использует архитектуру Mixture-of-Experts: внутри модели есть множество специализированных блоков, а маршрутизатор выбирает, какие задействовать. Основной объём параметров приходится на эти блоки. Именно выбираемых экспертов инженеры перевели в NVFP4 — формат низкой точности для GPU NVIDIA Blackwell. Механизм внимания, маршрутизатор и общие эксперты сохранили в BF16. Зачем такая избирательность?

Что известно по теме: модель-черновик должна знать ваш трафик?

Второй приём — speculative decoding. Маленькая модель предлагает несколько следующих токенов, большая проверяет их за один проход. Чем больше предложений она принимает, тем реже приходится запускать очередной шаг генерации. Обычный помощник плохо предсказывал японский деловой стиль Namazu: доля принятых токенов была ниже 40%. Команда обучила собственную модель DFlash на характерных для Namazu данных. Существенная деталь: сохраняли исходные идентификаторы токенов.

Что известно по теме: очередь тоже входит во время ответа?

Инженеры также убрали ожидание между CPU и GPU в цикле проверки черновиков, подключили более быстрые вычислительные ядра и стали повторно использовать подготовительные операции. При работе на четырёх GPU пришлось обеспечить единое решение о принятии токенов: редкое расхождение между устройствами вызывало зависания. Отдельно изменили распределение запросов между репликами. Маршрутизатор учитывает, где уже сохранены вычисления для начала промпта, и одновременно следит за нагрузкой.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…