Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураОткрытые веса · В работуMachine Learning Mastery→ оригинал

Слияние операций и FlashAttention: как не дать GPU простаивать в ожидании памяти

GPU при инференсе часто не считает, а ждёт: каждая мелкая операция запускается отдельно и пишет промежуточный результат в память. Слияние операций склеивает такие шаги в один проход, как будто повар режет салат в одной миске, а не в пяти. FlashAttention считает внимание блоками и не строит в памяти огромную матрицу T×T. Веса и формулы те же, поэтому сначала включайте готовые бэкенды и профилируйте всю нагрузку.

AI-обработка оригинала Machine Learning Mastery; редакция Hamidun News
Слияние операций и FlashAttention: как не дать GPU простаивать в ожидании памяти
Источник: Machine Learning Mastery. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникMachine Learning Mastery ↗
Главный редактор
Paged attention режет фрагментацию KV-кэшаблоки по 16 токенов
Ключевой факт #2FlashAttention помогает на prefill, на decode важнее чтение KV-кэша
Torch.compile ускоряет не всегдаграфовые разрывы ломают слияние

Когда инференс языковой модели идёт медленнее, чем хотелось бы, первая мысль обычно такая: нужен GPU помощнее. Но часто ускорителю приходится не считать, а ждать. Каждая мелкая операция слоя запускается отдельным «ядром» (так называют программу, выполняемую на GPU), а её промежуточный результат записывается в основную видеопамять HBM и тут же читается обратно.

Это как готовить салат, перекладывая каждый нарезанный ингредиент в новую миску: ножом работаешь меньше, чем носишь посуду. Слияние операций (operator fusion) склеивает несколько шагов в один проход, а FlashAttention делает то же самое для механизма внимания. Веса и формулы модели при этом остаются прежними.

Об этом слое оптимизации рассказал Адриан Там в обучающем разборе на Machine Learning Mastery. Собственных замеров скорости в материале нет, но причины тормозов и способы их лечения разложены понятно.

Почему «правильный» код получается медленным

Слой трансформера состоит из знакомых шагов: линейные проекции, внимание, нормализация, функции активации, сложение с исходным сигналом (residual). Прямолинейная реализация запускает отдельное ядро на каждый шаг и пишет каждый промежуточный тензор в память. Математика верна, но времени на перемещение значений и запуски уходит больше, чем на полезную арифметику.

Типичный пример — блок SwiGLU в современных моделях. В нём три матричных умножения, активация SiLU и поэлементное умножение. Каждая граница между операциями означает запись в HBM и чтение обратно. Если слить SiLU с умножением, один проход по данным заменит два.

Другие кандидаты на слияние: сложение с исходным сигналом вместе с нормализацией RMSNorm или LayerNorm, bias с активацией, позиционные эмбеддинги (RoPE) для запросов и ключей, обновление KV-кэша, деквантизация вместе с матричным умножением. Но у слияния есть пределы. Если почти всё время съедает одно огромное матричное умножение, выигрыш мал. Слишком гигантское ядро перегружает регистры GPU, снижает занятость вычислительных блоков и может оказаться медленнее нескольких хорошо настроенных. Автор советует оставлять простой код эталоном, а ядра выбирать эмпирически, профилируя всю нагрузку.

FlashAttention и постраничный KV-кэш

Наивное внимание строит матрицу оценок Q·Kᵀ размером T² на каждую голову, где T — длина последовательности. Запись этой матрицы в память и повторное чтение для softmax съедают пропускную способность, и на длинном prefill (первичной обработке промпта) это становится узким местом. FlashAttention обходит проблему: обрабатывает запросы, ключи и значения плитками, обновляет статистику softmax и накапливает результат в быстрой памяти прямо на чипе. Полная матрица в основную память не попадает.

В PyTorch это доступно через scaled_dot_product_attention. Фреймворк сам выбирает бэкенд по устройству, типу данных, форме тензоров и маске. Приоритет можно задать вручную через sdpa_kernel, но жёсткая привязка рискованна: если ни FlashAttention, ни cuDNN-бэкенд не поддерживают ваши входы или железо, код упадёт.

Важно различать фазы. FlashAttention особенно полезен на prefill, где много токенов обрабатываются вместе. На decode, когда модель генерирует ответ по одному токену, новых запросов один или несколько, и узким местом чаще становится чтение растущего KV-кэша, то есть сохранённых данных о уже обработанных токенах.

Здесь появляется paged attention. KV-кэш запроса растёт по токену и заканчивается на непредсказуемой длине. Если требовать под него один непрерывный кусок памяти, часть места будет зарезервирована впустую, а перенос и расширение кэша станут дорогими. Постраничный подход делит память на блоки фиксированного размера и хранит таблицу соответствия логических блоков физическим. Ядро идёт по этой таблице и не может считать, что K[t+1] лежит рядом с K[t]. Блоки выдаются по мере надобности, возвращаются в пул после завершения запроса и могут разделяться между последовательностями с общим префиксом. Число логических элементов KV это не уменьшает: выигрыш в меньшей фрагментации и меньшем резерве.

В примере с vLLM автор явно задаёт block_size=16 и бэкенд TRITON_ATTN. Параметр block_size сам по себе вычислительный бэкенд не выбирает.

torch.compile и CUDA Graphs

Писать ядра на CUDA или Triton вручную — работа для специалистов. Альтернатива: TorchDynamo захватывает граф операций, а TorchInductor, бэкенд torch.compile по умолчанию, оптимизирует его, переиспользует буферы и сливает совместимые поэлементные операции в одно Triton-ядро. Но сливается не всё. Графовые разрывы из-за ветвлений, зависящих от данных, неподдерживаемых операций или перевода тензоров в скаляры Python дробят модель на несколько графов.

Режим reduce-overhead добавляет CUDA Graphs. Fusion сокращает число ядер и трафик памяти. CUDA Graph записывает оставшуюся последовательность GPU-операций и запускает её одной командой с CPU, снимая накладные расходы на запуск. Лучше всего это подходит для повторяющихся задач с малым батчем, например decode. Если формы запросов постоянно меняются, пользы меньше, а память под рабочие буферы может расти.

Что делать на практике

  • Профилируйте всё приложение, а не отдельное ядро: меньшее число ядер в профайлере лишь намёк на выигрыш.
  • Включайте TORCH_LOGS=perf_hints и output_code до старта Python, чтобы увидеть, какие операции склеил Inductor.
  • Сверяйте результаты с допуском под ваш тип данных: порядок операций меняется, и небольшие численные расхождения нормальны.
  • Следите за динамическими формами: они вызывают перекомпиляцию и могут снизить эффект слияния.

Материал обучающий и без собственных замеров, но как карта причин и мер для тех, кто разгоняет инференс на vLLM или PyTorch, он полезен.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему «правильный» код получается медленным?

Слой трансформера состоит из знакомых шагов: линейные проекции, внимание, нормализация, функции активации, сложение с исходным сигналом (residual). Прямолинейная реализация запускает отдельное ядро на каждый шаг и пишет каждый промежуточный тензор в память. Математика верна, но времени на перемещение значений и запуски уходит больше, чем на полезную арифметику. Типичный пример — блок SwiGLU в современных моделях. В нём три матричных умножения, активация SiLU и поэлементное умножение.

Что известно по теме: FlashAttention и постраничный KV-кэш?

Наивное внимание строит матрицу оценок Q·Kᵀ размером T² на каждую голову, где T — длина последовательности. Запись этой матрицы в память и повторное чтение для softmax съедают пропускную способность, и на длинном prefill (первичной обработке промпта) это становится узким местом. FlashAttention обходит проблему: обрабатывает запросы, ключи и значения плитками, обновляет статистику softmax и накапливает результат в быстрой памяти прямо на чипе. Полная матрица в основную память не попадает.

Что известно по теме: torch.compile и CUDA Graphs?

Писать ядра на CUDA или Triton вручную — работа для специалистов. Альтернатива: TorchDynamo захватывает граф операций, а TorchInductor, бэкенд torch.compile по умолчанию, оптимизирует его, переиспользует буферы и сливает совместимые поэлементные операции в одно Triton-ядро. Но сливается не всё. Графовые разрывы из-за ветвлений, зависящих от данных, неподдерживаемых операций или перевода тензоров в скаляры Python дробят модель на несколько графов. Режим reduce-overhead добавляет CUDA Graphs.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…