Т-Банк дообучает LLM эволюцией без градиентов: на 128 GPU в 7,8 раза быстрее

Команда Т-Банка показала, что языковую модель можно дообучать без градиентов, то есть без расчёта поправки для каждого параметра по величине ошибки. Именно из-за этого расчёта видеокарты в кластере постоянно обмениваются данными, а синхронизация съедает заметную часть ресурсов. Новый метод ESSA использует вместо этого эволюционный алгоритм. На математических задачах он сравнялся по качеству с GRPO, который дообучает модель целиком, хотя настраивает примерно в миллион раз меньше параметров. Выигрыш в скорости растёт вместе с кластером: примерно в 2 раза на 16 GPU и до 7,8 раза на 128.

Ещё одна работа той же группы, F-GRPO, улучшает сам GRPO. Обе статьи представили на EMNLP, конференции по обработке естественного языка уровня A*.

Как модель учится без градиентов

Обычное дообучение устроено так. Модель решает задачу, система считает ошибку и вычисляет градиент: подсказку, в какую сторону сдвинуть каждый параметр, чтобы ответ стал лучше. Когда обучение идёт на десятках или сотнях видеокарт, они обмениваются этими градиентами на каждом шаге. Вычисления идут быстро, а сеть между картами нередко оказывается узким местом.

ESSA действует иначе, и логика у неё как в селекции:

• берут исходную модель и создают множество слегка отличающихся версий; • каждую версию проверяют на наборе задач и смотрят, сколько она решила; • самые удачные становятся основой следующего поколения; • цикл повторяют шаг за шагом.

Меняется при этом не вся модель, а только небольшой набор параметров LoRA-адаптеров. LoRA — это маленькие дополнительные матрицы, которые подключают к основной модели, а сама модель остаётся нетронутой. Поэтому ESSA оперирует примерно в миллион раз меньшим числом параметров, чем GRPO. GRPO — популярный метод обучения с подкреплением: модель выдаёт несколько вариантов ответа на задачу, и их награды сравнивают между собой.

Почему большой кластер помогает эволюции

Каждая версия модели оценивается независимо от остальных. Видеокартам почти не нужно переговариваться: достаточно в конце собрать результаты проверок. Поэтому сеть между картами перестаёт тормозить обучение.

Исследователи приводят такие цифры скорости относительно обучения с GRPO:

• около 2 раз на 16 GPU; • до 7,8 раза на 128 GPU.

Картина понятная. Чем больше карт, тем дороже обходится синхронизация обычного обучения и тем сильнее выигрывает метод, где синхронизации почти нет. Для крупных кластеров это серьёзный аргумент.

Оговорка: сравнение по качеству сделано на математических задачах. Как ESSA покажет себя на других типах задач, например на коде или длинных диалогах, из описания неясно.

F-GRPO: как не растерять разнообразие решений

Вторая работа решает другую проблему GRPO. После дообучения модель часто привыкает к одним верным способам решения и реже выбирает другие. Для одной задачи это не страшно, но если нужно перебрать много попыток и найти хотя бы одно верное решение, разнообразие становится важным.

F-GRPO слабее меняет параметры на простых задачах, которые модель уже уверенно решает. Благодаря этому она не закрепляет единственный привычный путь и сохраняет разные способы ответа.

Результат проверили на Qwen2.5-7B и метрике pass@256. Это вероятность того, что среди 256 сгенерированных ответов найдётся хотя бы один правильный. На математических задачах показатель вырос с 64,1% до 70,3%. Дополнительных затрат на обучение метод не требует.

Что это даёт инженерам и бизнесу

Пока дообучение упирается в количество GPU и скорость сети между ними, у команд есть два пути: покупать больше железа или менять алгоритм. Эти работы показывают второй путь с двух сторон.

• ESSA снижает зависимость от обмена данными между картами и выигрывает на больших кластерах. • F-GRPO повышает шанс найти верный ответ среди многих попыток, не удорожая обучение. • Оба подхода сохраняют качество или улучшают его, не требуя перестраивать всю модель.

Оценивать результаты надо осторожно: цифры получены на математике, и на других задачах всё может оказаться иначе. Но направление ясное. Улучшать дообучение можно через сохранение разных решений и через другой способ обновлять модель, а не только через покупку новых видеокарт. Первоисточники: arXiv 2507.04453 и arXiv 2602.06717.