Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИнфраструктураРазбор · На радарTogether AI Blog→ оригинал

Together AI заменила мегаядра ИИ-агентами и ускорила Llama 1B на 28% на B200

Together AI отказалась от мегаядер — одного гигантского GPU-кернела на всю модель — и заменила их Together Compiler, где ИИ-агенты переписывают и склеивают кернелы. На B200 Llama 3.2 1B выдаёт 2118 токенов/с против 1649 у ручного мегакернела, это на 28% быстрее. Мегаядро в продакшене тянуло одну модель, один размер батча и одного клиента. Поэтому гнаться за скоростью выгоднее автоматическим поиском, чем ручной сборкой.

AI-обработка оригинала Together AI Blog; редакция Hamidun News
Together AI заменила мегаядра ИИ-агентами и ускорила Llama 1B на 28% на B200
Источник: Together AI Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTogether AI Blog ↗
Главный редактор
Ключевой факт #1CUDA Graphs и PDL на стандартных кернелах Inductor дают 98% скорости мегаядра
Ключевой факт #2На H100 агенты и multi-kernels обогнали старые мегаядра до 1,7 раза: 1100+ токенов/с
Ключевой факт #3Флаг freezing в Inductor ускорял большие батчи на 10–26%, а на батче 1 замедлял на 49%

Год назад Together AI хвасталась мегаядрами: вся прямая проходка модели исполнялась одним огромным GPU-кернелом, и скорость была рекордной. Теперь та же команда пишет, что мегаядра им не нужны. Вместо них компания выпустила Together Compiler — систему, где ИИ-агенты переписывают и склеивают кернелы модели. На NVIDIA B200 она выжимает 2118 токенов в секунду на Llama 3.2 1B, а ручной мегакернел даёт 1649. Разница — 28%. Для тех, кто платит за инференс, эта история полезна не рекордом, а разбором того, откуда на самом деле берётся скорость.

Почему мегаядро не доехало до продакшена

Мегаядро решало три проблемы обычного инференса. Первая — накладные расходы на запуск каждого кернела. В PyTorch один вызов down-projection на H100 стоит 37 микросекунд диспетчеризации при 15 микросекундах самой работы GPU. Даже чистый C++ добавляет около 2 микросекунд на запуск, а в одном проходе таких запусков сотни. Вторая проблема — нет перекрытия: веса следующего слоя можно подгружать, пока считается текущий. Третья — неравномерная загрузка мультипроцессоров (SM): одни заканчивают работу раньше других и простаивают.

На Llama 1B мегакернел выдал 990 токенов/с против 669 у стандартного Torch Inductor — плюс 48%. Но в продакшене всё оказалось хуже. Один исследователь несколько месяцев в 2025 году интегрировал paged KV-кэш, переносил код на Blackwell и ловил гонки данных. Итог авторы описывают так: одна модель, один размер батча (1), одна точность (BF16) и один клиент. Скорость отличная, гибкости нет.

Тогда команда пошла от обратного: взяла Torch Compile с 669 токенами/с и по одной включала оптимизации мегаядра. Добавили CUDA Graphs, и запуск обходится примерно в 1 микросекунду, а результат вырос до 864 токенов/с, то есть 87% от мегаядра. Добавили PDL (механизм NVIDIA для перекрытия соседних кернелов) на стандартных кернелах Inductor — и вышли на 98% скорости мегаядра, не написав ни одного своего кернела.

Где стандартный компилятор теряет скорость

Команда изучила Inductor на Llama 1B и нашла три слабых места.

Первое: эвристики не выбирают лучшую конфигурацию под нагрузку. У Inductor уже 607 флагов настройки, 198 из них добавлены за последний год. Флаг freezing ускоряет большие батчи на 10–26%, но на батче 1 замедляет на 49%: веса остаются в 32-битном формате и GPU читает вдвое больше данных. Флаги ещё и влияют друг на друга: aggressive_fusion в одиночку снизил скорость на 6 токенов/с, а в связке с тремя другими добавил 3.

Второе: бенчмарки Inductor меряют кернелы по отдельности, со сброшенным кэшем L2, а в реальном проходе данные часто уже лежат в кэше. Изолированные замеры оказались на 39–58% медленнее живых. Хуже того, на тесте с embedding токены инициализируются нулями, и ядро выглядит в 2,1 раза быстрее, чем на случайных данных. В результате Inductor выбрал для output-projection Triton-кернел на 7,4 мкс вместо cuBLAS на 6,4 мкс — на 15% медленнее. На MoE-модели GLM 5.3 случайные входы в бенчмарке завышали время grouped-GEMM на 4–21%.

Третье: жадное попарное слияние. Два соседних кернела не склеиваются, потому что не делят память. Но первый запускает всего 6 блоков на GPU со 132 SM, и почти весь чип простаивает. Алгоритм слияния должен учитывать загрузку, а не только трафик памяти.

Что это значит на практике

Для продакшена важны три вывода. Во-первых, прежде чем писать кастомные кернелы, включите CUDA Graphs и PDL: по замерам Together, это возвращает почти всю скорость мегаядра. Во-вторых, не доверяйте флагам компилятора вслепую: один и тот же флаг по-разному ведёт себя на разных батчах, поэтому нужен систематический поиск, а не угадывание. В-третьих, бенчмарк должен идти внутри настоящего прохода на реальных данных, особенно для MoE, где вход определяет маршрутизацию.

С агентами и multi-kernels команда обогнала свои старые мегаядра до 1,7 раза и получила больше 1100 токенов/с на Llama 1B на H100. Идея Together Compiler в том, чтобы агенты постоянно искали новые варианты слияния и настроек под конкретную модель, железо и размер батча, а не полагались на одну ручную реализацию.

Есть оговорки. Все цифры — собственные замеры компании, и на очень маленькой модели 1B, где накладные расходы запуска весят особенно много. На крупных моделях выигрыш может быть скромнее, поэтому результат нужно перепроверять на своей нагрузке. Тем не менее направление понятно: ручные мегаядра остаются исследовательским инструментом, а в продакшене выигрывает автоматизированный поиск по пространству оптимизаций.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему мегаядро не доехало до продакшена?

Мегаядро решало три проблемы обычного инференса. Первая — накладные расходы на запуск каждого кернела. В PyTorch один вызов down-projection на H100 стоит 37 микросекунд диспетчеризации при 15 микросекундах самой работы GPU. Даже чистый C++ добавляет около 2 микросекунд на запуск, а в одном проходе таких запусков сотни. Вторая проблема — нет перекрытия: веса следующего слоя можно подгружать, пока считается текущий.

Что известно по теме: где стандартный компилятор теряет скорость?

Команда изучила Inductor на Llama 1B и нашла три слабых места. Первое: эвристики не выбирают лучшую конфигурацию под нагрузку. У Inductor уже 607 флагов настройки, 198 из них добавлены за последний год. Флаг freezing ускоряет большие батчи на 10–26%, но на батче 1 замедляет на 49%: веса остаются в 32-битном формате и GPU читает вдвое больше данных. Флаги ещё и влияют друг на друга: aggressive_fusion в одиночку снизил скорость на 6 токенов/с, а в связке с тремя другими добавил 3.

Что известно по теме: что это значит на практике?

Для продакшена важны три вывода. Во-первых, прежде чем писать кастомные кернелы, включите CUDA Graphs и PDL: по замерам Together, это возвращает почти всю скорость мегаядра. Во-вторых, не доверяйте флагам компилятора вслепую: один и тот же флаг по-разному ведёт себя на разных батчах, поэтому нужен систематический поиск, а не угадывание. В-третьих, бенчмарк должен идти внутри настоящего прохода на реальных данных, особенно для MoE, где вход определяет маршрутизацию.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…