gpu-unlock снимает программный лимит BF16 на RTX 20/30/40 — до +100% в тензорных ядрах

Представьте: вы купили RTX 3090 или 4080, а часть её вычислительной мощности для ИИ заперта не железом, а настройкой в прошивке. Именно о таком случае рассказывает проект gpu-unlock от разработчика Zagitta. Сразу оговорка: я модуль не тестировал. Ниже разбор репозитория и README, и все цифры — заявления автора и сообщества, а не мои замеры.

В чём проблема

NVIDIA делит линейку на игровые GeForce и профессиональные карты не только ценой. На потребительских картах пропускная способность тензорных ядер в режимах FP16/BF16/TF32 с накоплением в FP32 искусственно урезана, чаще всего вдвое от паспортного пика. В играх это незаметно. Зато в локальных LLM, файнтюнинге, генерации картинок и видео именно эта математика занимает основное время обучения и prefill, то есть обработки входного промпта.

Как работает gpu-unlock

Это модуль ядра Linux. Он встраивается в initramfs и срабатывает до того, как к карте привяжется драйвер nvidia. Модуль записывает в карту регистры-селекторы скорости (SS0 = 0x88888888 для полной скорости BF16 и SS1 = 0x8), затем делает Function-Level Reset и отпускает устройство. После этого оригинальный драйвер NVIDIA подхватывает карту как обычно. Сам драйвер не патчится, VBIOS не прошивается. Архив драйвера нужен только чтобы достать прошивку, от которой зависит разблокировка. Автор утверждает, что результаты вычислений побитово идентичны, меняется лишь скорость.

Поддержка выглядит так: Ampere (RTX 30, включая мобильные 3070/3080) — стабильно. Ada Lovelace (RTX 40) и Turing (RTX 20) — экспериментально. Blackwell (RTX 50) не поддерживается, и автор считает, что не будет. Pascal, включая GTX 1070, не подходит вовсе: там нет нужных тензорных ядер.

Что обещают цифры

По README, чистый BF16 matmul на стоковых лимитах мощности: RTX 3060 — с 27 до 51 TFLOPS (+87%), RTX 3080 — с 65 до 113 (+73%), RTX 3090 — с 75 до 125 (+65%), RTX 4080 — с 104 до 193 (+87%), RTX 4090 — с 165 до 329 (+100% по пику). Для 4090 автор сам предупреждает: карта упрётся в лимит мощности раньше, чем в потолок тензорных ядер, так что на больших GEMM прирост будет меньше.

На реальных задачах, по отчётам сообщества, картина скромнее: prefill LLM +25–55%, LoRA и полный файнтюнинг в BF16 +25–50%, генерация изображений +30–55%, видео (Wan 2.2) +15–20%, FlashAttention/SDPA +50–60%. Для llama.cpp и Ollama с GGUF — 0–15%.

Где это не поможет

Главное ограничение для домашних LLM: decode упирается в пропускную способность памяти, а не в вычисления. INT8/FP8/INT4-модели, игры и FP32 CUDA тоже не ускоряются. Если вы гоняете квантованную модель ради скорости генерации, вы можете не получить ничего.

Установка и риски

Установка: git clone, затем make install (есть таргеты install-arch, install-deb, install-rpm), после чего в параметры ядра добавляется gpu_unlock.targets=all или конкретные PCI-адреса. Проверка через journalctl -k -b | grep gpu_unlock. Откат — убрать параметр или удалить пакет.

Нюансы. На ноутбуках разблокировка теряется при полном обесточивании дискретной GPU. После suspend модуль разблокирует карту заново, с задержкой около секунды, гибернация не поддерживается. Если прошивка зависла, нужно именно выключить питание, а не перезагрузиться. Карта будет греться сильнее. Windows автор не поддерживает, а к сторонним установщикам нужно относиться крайне осторожно: у проекта нет ни криптовалюты, ни сайтов, только репозиторий на GitHub. Лицензия модуля — GPL-2.0-only, а прошивка NVIDIA остаётся под её собственной лицензией.

Практический вывод

Если у вас RTX 20/30/40, вы работаете с FP16/BF16 и в основном обучаете, файнтюните или генерируете изображения, проект стоит проверить: это бесплатно и откатывается одним параметром. Сначала честно сверьте свой профиль нагрузки со списком «где не работает». И не ставьте это на единственную рабочую машину без теста на отдельном стенде: цифры здесь пересказаны из README, а не измерены независимо.