SAZO ускоряет дообучение LLM без backprop: до 6× меньше запросов до того же loss

Команда авторов препринта arXiv:2610.12566 представила SAZO, Sample-Adaptive Zeroth-Order Optimization. Это метод дообучения больших языковых моделей без backpropagation, который достигает того же training loss при числе запросов до 6 раз меньшем, чем стандартные ZO-подходы. Он не требует дополнительных прогонов модели и добавляет к MeZO только O(N) скалярных значений, где N — число обучающих примеров. Эксперименты проведены на четырёх семействах моделей, и средние downstream-результаты тоже выросли.

Где теряется эффективность в ZO-обучении

Оптимизация нулевого порядка заменяет честный градиент оценкой. Веса модели слегка возмущаются в случайном направлении, считается разность loss, и по ней делается шаг. Активации и градиенты хранить не нужно, поэтому память остаётся на уровне инференса. Для дообучения крупных моделей на ограниченном железе это серьёзный аргумент. Расплачиваться приходится шумом: оценка получается дисперсной, а шагов нужно много.

Применяемые методы, включая MeZO, берут обучающие примеры равновероятно. Авторы SAZO указывают на слабое место такой схемы. Важность примера для обучения не постоянна: одни примеры уже «усвоены» и почти не двигают веса, другие всё ещё дают крупный градиент. Равномерная выборка игнорирует это, и в оценку закладывается дисперсия, которой можно было избежать.

Как SAZO учится выбирать примеры

Ключевая сложность в том, что истинных градиентов в ZO-режиме нет. Поэтому SAZO извлекает информацию о норме градиента из направленных разностей, которые метод и так вычисляет на каждом шаге. Дополнительных обращений к модели для этого не нужно.

Вторая проблема — разреженность сигнала. Минибатч затрагивает лишь малую часть датасета, а важность примеров меняется по ходу обучения. Для каждого примера SAZO хранит экспоненциальное скользящее среднее, которое накапливает наблюдения между обновлениями. По этим оценкам запросы распределяются адаптивно: значимые примеры попадают в выборку чаще.

Теоретическая часть заявлена в двух пунктах. Во-первых, SAZO асимптотически совпадает с ведущим членом сходимости оракула выборки с минимальной дисперсией, то есть идеальной схемы, которой на практике недоступно знание истинных норм. Во-вторых, метод показывает строго более быстрый темп сходимости, чем стандартные подходы.

Ключевые параметры

• Дополнительные вычисления: ноль дополнительных оценок модели относительно MeZO.
• Дополнительная память: O(N) скаляров на состояние скользящих средних.
• Ускорение: до 6× по числу запросов до того же training loss.
• Качество: улучшение среднего результата на downstream-задачах.
• Охват проверки: четыре семейства моделей.
• Теория: совпадение с главным членом оракула минимальной дисперсии и строго лучший темп сходимости.

Практические выводы

O(N) скаляров — это совсем немного. Для датасета в 100 тысяч примеров при float32 выходит около 400 КБ, на фоне весов модели это пренебрежимо мало. Значит, главное преимущество ZO, малый расход памяти, сохраняется почти полностью. Для команд, которые дообучают модели на одной-двух картах и упираются в память при backprop, это потенциально более дешёвый путь, чем раньше.

Оговорки есть. Ускорение измерено в числе запросов, а не во времени на стене, и абстракт ничего не говорит о реальной задержке. ZO-методы по-прежнему требуют большого числа шагов, и сравнение с классическим дообучением на градиентах в публикации в явном виде не заявлено. Нет в тексте и названий моделей и задач. Прежде чем встраивать SAZO в пайплайн, стоит дождаться кода и независимых воспроизведений.

Тем не менее направление понятное. Если выбор примеров в ZO-обучении можно оптимизировать почти бесплатно, то так же можно пересмотреть и другие, давно устоявшиеся допущения вроде равномерной выборки.