Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарPyTorch Blog→ оригинал

Helion из PyTorch считает настройки GPU-ядер при компиляции вместо 25 часов автотюнинга

Чтобы GPU-ядро работало быстро, нужно подобрать размеры блоков, число потоков и глубину конвейера. В Helion, языке PyTorch для таких ядер, это делает автотюнер, перебирая варианты: одно ядро paged-attention под 72 формы данных он настраивал 10 часов в быстром режиме и 25 в полном. Теперь компилятор определяет тип ядра и выставляет настройки сразу, без перебора. Поэтому для прототипов и новых форм долгий поиск можно отложить.

AI-обработка оригинала PyTorch Blog; редакция Hamidun News
Helion из PyTorch считает настройки GPU-ядер при компиляции вместо 25 часов автотюнинга
Источник: PyTorch Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникPyTorch Blog ↗
Главный редактор
Ядра делятся на три семействаматмул, редукция и поэлементные
Ключевой факт #2Анализ добавляет к компиляции лишь десятки миллисекунд
Проверка153 сочетания ядра и формы на H100, шесть ядер vLLM

Написать GPU-ядро мало: чтобы оно работало быстро, нужно подобрать десятки настроек — размеры блоков, число потоков (варпов), глубину конвейера загрузки. В Helion, языке PyTorch для переносимых ядер машинного обучения, этим занимается автотюнер: он компилирует и замеряет множество вариантов, а затем выбирает лучший. Работает он честно, но медленно. Команда, которая настраивала одно ядро paged-attention под 72 формы данных, потратила 10 часов в быстром режиме Helion и 25 часов в полном. Если ядер, форм и видеокарт много, время растёт как снежный ком. Поэтому в Helion добавили эвристики времени компиляции: они выбирают настройки сразу, без перебора.

Как компилятор угадывает настройки

Одно ядро Helion может превратиться в тысячи разных ядер Triton, и автотюнер должен выбрать одно из них. Эвристика действует иначе. Она читает промежуточное представление ядра (IR) и записывает структурные факты: какие оси разбиты на блоки, какие размеры можно менять, какие тайлы живы на каждом участке. Затем по этим фактам выдаёт готовую конфигурацию.

Сначала ядро относят к одному из трёх семейств. Любое ядро с матричным умножением, например с hl.dot или torch.baddbmm, идёт по матричной ветке, даже если внутри есть что-то ещё. Ядро с редукцией (свёрткой строки в меньшее число значений) без матмула идёт по ветке редукций. Всё остальное считается поэлементным. Если не все размеры известны на этапе компиляции, эвристика не включается, и Helion берёт прежние настройки по умолчанию.

Все ветки опираются на один анализ: сколько регистров, разделяемой памяти и, на Blackwell, тензорной памяти нужно одному блоку потоков (CTA) при выбранных размерах. Из этого следует, сколько блоков поместится на мультипроцессор. Пример из статьи: блоку нужна десятая часть регистров и разделяемой памяти, но шесть десятых тензорной. Два таких блока не влезут, потому что 0,6 × 2 = 1,2, то есть бюджет превышен на 20%. Значит, остаётся один блок на мультипроцессор.

Дальше эти оценки определяют настройки. Больше стадий конвейера лучше скрывают задержку загрузки, но шесть стадий могут занять всю разделяемую память и оставить один блок на мультипроцессор. Три стадии при двух блоках часто выгоднее. Если блоков меньше, чем мультипроцессоров, размер блока уменьшают. Если ядро с редукцией читает строку дважды, как RMSNorm (сначала считает масштаб, потом применяет его), выгоднее держать строку в памяти и не ходить за ней повторно.

Что показали замеры

Авторы подчёркивают: цель не в том, чтобы обогнать автотюнер, который перебирает тысячи вариантов. Они хотят добавить промежуточную точку между скоростью работы и временем ожидания.

Проверки шли на H100. Девять вариантов линейного внимания на 96 сочетаниях ядра и формы сравнивали с рукописными ядрами Triton из библиотеки FLA. Вычисленная конфигурация обошла их и оказалась быстрее прежних настроек Helion без автотюнинга. На шести продакшн-ядрах для vLLM (два FP8-квантайзера, RMSNorm и SiLU-and-multiply с квантизацией, QK-нормализация с RoPE) тест включал 153 сочетания ядра и формы. Здесь вычисленная конфигурация опередила рукописные CUDA/C++-операторы vLLM. Полный автотюнинг на этих ядрах добавляет к бесплатной конфигурации совсем немного.

Отдельно сравнили «повседневные» ядра с torch.compile в режиме max-autotune: десять редукций на 80 сочетаниях и тринадцать семейств матричных ядер на 70 формах. Стоимость самого анализа ничтожна: разница во времени компиляции с эвристиками и без них составляет десятки миллисекунд, они теряются на фоне компиляции Triton.

Подсказки для автотюнера и ограничения

Те же эвристики умеют выдавать 5–20 родственных конфигураций как стартовые точки для автотюнера. Основная конфигурация должна быть хороша сама по себе, а запасные нужны, чтобы поиск начинался с перспективных вариантов.

Ограничения тоже есть. Эвристика угадывает решения Triton: что попадёт в регистры, что пройдёт через разделяемую память, что вообще не будет материализовано. Оценка приблизительная. Когда в одном ядре несколько матричных умножений, настройки у них могут конфликтовать: например, у всех один num_warps. Тогда побеждает умножение с накопителем в цикле, затем с большим объёмом работы. Замеры сделаны на H100 и касаются конкретных наборов ядер.

Практический вывод для тех, кто пишет ядра на Helion: на прототипах, новых формах и редких ядрах долгий автотюнинг можно отложить, потому что настройки «из коробки» теперь ближе к тюнингованным. Если вы поставляете фиксированный набор форм, полный автотюнинг всё ещё стоит запускать один раз перед релизом.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как компилятор угадывает настройки?

Одно ядро Helion может превратиться в тысячи разных ядер Triton, и автотюнер должен выбрать одно из них. Эвристика действует иначе. Она читает промежуточное представление ядра (IR) и записывает структурные факты: какие оси разбиты на блоки, какие размеры можно менять, какие тайлы живы на каждом участке. Затем по этим фактам выдаёт готовую конфигурацию. Сначала ядро относят к одному из трёх семейств.

Что известно по теме: что показали замеры?

Авторы подчёркивают: цель не в том, чтобы обогнать автотюнер, который перебирает тысячи вариантов. Они хотят добавить промежуточную точку между скоростью работы и временем ожидания. Проверки шли на H100. Девять вариантов линейного внимания на 96 сочетаниях ядра и формы сравнивали с рукописными ядрами Triton из библиотеки FLA. Вычисленная конфигурация обошла их и оказалась быстрее прежних настроек Helion без автотюнинга.

Что известно по теме: подсказки для автотюнера и ограничения?

Те же эвристики умеют выдавать 5–20 родственных конфигураций как стартовые точки для автотюнера. Основная конфигурация должна быть хороша сама по себе, а запасные нужны, чтобы поиск начинался с перспективных вариантов. Ограничения тоже есть. Эвристика угадывает решения Triton: что попадёт в регистры, что пройдёт через разделяемую память, что вообще не будет материализовано. Оценка приблизительная.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…