Helion из PyTorch считает настройки GPU-ядер при компиляции вместо 25 часов автотюнинга
Чтобы GPU-ядро работало быстро, нужно подобрать размеры блоков, число потоков и глубину конвейера. В Helion, языке PyTorch для таких ядер, это делает автотюнер, перебирая варианты: одно ядро paged-attention под 72 формы данных он настраивал 10 часов в быстром режиме и 25 в полном. Теперь компилятор определяет тип ядра и выставляет настройки сразу, без перебора. Поэтому для прототипов и новых форм долгий поиск можно отложить.
AI-обработка оригинала PyTorch Blog; редакция Hamidun News
Написать GPU-ядро мало: чтобы оно работало быстро, нужно подобрать десятки настроек — размеры блоков, число потоков (варпов), глубину конвейера загрузки. В Helion, языке PyTorch для переносимых ядер машинного обучения, этим занимается автотюнер: он компилирует и замеряет множество вариантов, а затем выбирает лучший. Работает он честно, но медленно. Команда, которая настраивала одно ядро paged-attention под 72 формы данных, потратила 10 часов в быстром режиме Helion и 25 часов в полном. Если ядер, форм и видеокарт много, время растёт как снежный ком. Поэтому в Helion добавили эвристики времени компиляции: они выбирают настройки сразу, без перебора.
Как компилятор угадывает настройки
Одно ядро Helion может превратиться в тысячи разных ядер Triton, и автотюнер должен выбрать одно из них. Эвристика действует иначе. Она читает промежуточное представление ядра (IR) и записывает структурные факты: какие оси разбиты на блоки, какие размеры можно менять, какие тайлы живы на каждом участке. Затем по этим фактам выдаёт готовую конфигурацию.
Сначала ядро относят к одному из трёх семейств. Любое ядро с матричным умножением, например с hl.dot или torch.baddbmm, идёт по матричной ветке, даже если внутри есть что-то ещё. Ядро с редукцией (свёрткой строки в меньшее число значений) без матмула идёт по ветке редукций. Всё остальное считается поэлементным. Если не все размеры известны на этапе компиляции, эвристика не включается, и Helion берёт прежние настройки по умолчанию.
Все ветки опираются на один анализ: сколько регистров, разделяемой памяти и, на Blackwell, тензорной памяти нужно одному блоку потоков (CTA) при выбранных размерах. Из этого следует, сколько блоков поместится на мультипроцессор. Пример из статьи: блоку нужна десятая часть регистров и разделяемой памяти, но шесть десятых тензорной. Два таких блока не влезут, потому что 0,6 × 2 = 1,2, то есть бюджет превышен на 20%. Значит, остаётся один блок на мультипроцессор.
Дальше эти оценки определяют настройки. Больше стадий конвейера лучше скрывают задержку загрузки, но шесть стадий могут занять всю разделяемую память и оставить один блок на мультипроцессор. Три стадии при двух блоках часто выгоднее. Если блоков меньше, чем мультипроцессоров, размер блока уменьшают. Если ядро с редукцией читает строку дважды, как RMSNorm (сначала считает масштаб, потом применяет его), выгоднее держать строку в памяти и не ходить за ней повторно.
Что показали замеры
Авторы подчёркивают: цель не в том, чтобы обогнать автотюнер, который перебирает тысячи вариантов. Они хотят добавить промежуточную точку между скоростью работы и временем ожидания.
Проверки шли на H100. Девять вариантов линейного внимания на 96 сочетаниях ядра и формы сравнивали с рукописными ядрами Triton из библиотеки FLA. Вычисленная конфигурация обошла их и оказалась быстрее прежних настроек Helion без автотюнинга. На шести продакшн-ядрах для vLLM (два FP8-квантайзера, RMSNorm и SiLU-and-multiply с квантизацией, QK-нормализация с RoPE) тест включал 153 сочетания ядра и формы. Здесь вычисленная конфигурация опередила рукописные CUDA/C++-операторы vLLM. Полный автотюнинг на этих ядрах добавляет к бесплатной конфигурации совсем немного.
Отдельно сравнили «повседневные» ядра с torch.compile в режиме max-autotune: десять редукций на 80 сочетаниях и тринадцать семейств матричных ядер на 70 формах. Стоимость самого анализа ничтожна: разница во времени компиляции с эвристиками и без них составляет десятки миллисекунд, они теряются на фоне компиляции Triton.
Подсказки для автотюнера и ограничения
Те же эвристики умеют выдавать 5–20 родственных конфигураций как стартовые точки для автотюнера. Основная конфигурация должна быть хороша сама по себе, а запасные нужны, чтобы поиск начинался с перспективных вариантов.
Ограничения тоже есть. Эвристика угадывает решения Triton: что попадёт в регистры, что пройдёт через разделяемую память, что вообще не будет материализовано. Оценка приблизительная. Когда в одном ядре несколько матричных умножений, настройки у них могут конфликтовать: например, у всех один num_warps. Тогда побеждает умножение с накопителем в цикле, затем с большим объёмом работы. Замеры сделаны на H100 и касаются конкретных наборов ядер.
Практический вывод для тех, кто пишет ядра на Helion: на прототипах, новых формах и редких ядрах долгий автотюнинг можно отложить, потому что настройки «из коробки» теперь ближе к тюнингованным. Если вы поставляете фиксированный набор форм, полный автотюнинг всё ещё стоит запускать один раз перед релизом.
- 22 нояб. 2026 г.SEC проверяет бухгалтерию Nvidia: акции упали на 14% за один день
- 22 нояб. 2026 г.Nasdaq 100 за неделю упал на 10,4%: худший результат со времён пандемии
- 22 нояб. 2026 г.Хобби-проект LangChain за четыре года стал стартапом за $3 млрд и привлёк $300 млн
- 22 нояб. 2026 г.Nvidia перестала продавать H200 в Китай и отказала Маску вернуть Хуанга
Вопросы и ответы по материалу
Что известно по теме: как компилятор угадывает настройки?
Одно ядро Helion может превратиться в тысячи разных ядер Triton, и автотюнер должен выбрать одно из них. Эвристика действует иначе. Она читает промежуточное представление ядра (IR) и записывает структурные факты: какие оси разбиты на блоки, какие размеры можно менять, какие тайлы живы на каждом участке. Затем по этим фактам выдаёт готовую конфигурацию. Сначала ядро относят к одному из трёх семейств.
Что известно по теме: что показали замеры?
Авторы подчёркивают: цель не в том, чтобы обогнать автотюнер, который перебирает тысячи вариантов. Они хотят добавить промежуточную точку между скоростью работы и временем ожидания. Проверки шли на H100. Девять вариантов линейного внимания на 96 сочетаниях ядра и формы сравнивали с рукописными ядрами Triton из библиотеки FLA. Вычисленная конфигурация обошла их и оказалась быстрее прежних настроек Helion без автотюнинга.
Что известно по теме: подсказки для автотюнера и ограничения?
Те же эвристики умеют выдавать 5–20 родственных конфигураций как стартовые точки для автотюнера. Основная конфигурация должна быть хороша сама по себе, а запасные нужны, чтобы поиск начинался с перспективных вариантов. Ограничения тоже есть. Эвристика угадывает решения Triton: что попадёт в регистры, что пройдёт через разделяемую память, что вообще не будет материализовано. Оценка приблизительная.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.