Как натренировать Gemma-3 на математике с помощью GRPO и LoRA-адаптеров

Исследователи опубликовали 5 июля 2026 года подробный воркфлоу для дообучения Gemma-3 от Google на математическом датасете GSM8K с применением алгоритма GRPO, LoRA-адаптеров и фреймворка Tunix.

Что такое GRPO и чем он отличается от классических методов

GRPO (Group Relative Policy Optimization) — алгоритм из семейства reinforcement learning, специально адаптированный для языковых моделей. В отличие от классического PPO, который требует отдельной эталонной модели-критика, GRPO сравнивает несколько сгенерированных вариантов ответа между собой внутри одной группы и обновляет политику в пользу более удачных решений. Это снижает потребление памяти и делает обучение стабильнее.

Для математических задач такой подход особенно удобен: ответ либо правильный, либо нет — сигнал вознаграждения считается автоматически и однозначно. GSM8K (Grade School Math 8K) — стандартный бенчмарк из 8 500 школьных математических задач с многошаговым решением. Он требует от модели не просто выдать число, но и воспроизвести цепочку рассуждений, что делает его идеальным полигоном для GRPO.

• Базовая модель — Gemma-3 от Google
• Датасет — GSM8K (8 500 школьных задач)
• Алгоритм — GRPO (Group Relative Policy Optimization)
• Фреймворк — Tunix поверх Hugging Face Transformers
• Дообучение — LoRA-адаптеры без изменения основных весов

Как построен пайплайн шаг за шагом

Воркфлоу разбит на логические этапы. Сначала настраивается среда и выполняется аутентификация в Hugging Face Hub — именно оттуда загружаются веса Gemma-3. Затем каждый пример из GSM8K оборачивается в шаблон «рассуждение + ответ»: модель с первых шагов обучения видит ожидаемую структуру вывода и учится следовать ей.

Центральный элемент — две функции вознаграждения. Первая проверяет соответствие формата: есть ли в ответе блок рассуждения и числовой итог. Вторая оценивает числовую точность — совпадает ли финальное число с эталоном из датасета. GRPO оптимизирует оба сигнала одновременно, генерируя группу вариантов и отбирая лучшие.

Чтобы не переобучать всю модель целиком, к Gemma-3 подключаются LoRA-адаптеры — компактные низкоранговые матрицы, которые обучаются вместо «замороженных» основных весов. Итог: число обучаемых параметров резко падает, а требования к видеопамяти снижаются настолько, что воркфлоу становится реализуемым на потребительском железе.

После обучения авторы предлагают замерить точность с адаптерами и сравнить с базовым чекпоинтом. Опционально — слить адаптеры с основными весами и экспортировать финальную модель для деплоя.

Почему это важно для разработчиков

«LoRA-адаптеры делают весь процесс осуществимым без дата-центра», —

говорится в описании воркфлоу.

Ещё несколько лет назад файнтюнинг больших моделей требовал десятков гигабайт видеопамяти и доступа к профессиональным кластерам. Связка GRPO + LoRA меняет это: алгоритм уже экономнее классического PPO по памяти, а LoRA дополнительно сокращает число обучаемых параметров в 10–100 раз в зависимости от ранга адаптера.

Практическое следствие: разработчик с одной современной видеокартой может взять открытую модель вроде Gemma-3, заточить её под конкретный домен — математику, право, медицину — и получить специализированную модель с измеримым улучшением на целевом бенчмарке. Tunix выступает удобной оберткой, которая автоматизирует конфигурацию GRPO и управление адаптерами; аналогичный подход применим к любому датасету с проверяемыми ответами.

Что это значит

GRPO-дообучение с LoRA на доменных датасетах выходит из академических статей в практические руководства. Авторы показали полный цикл — от загрузки до экспорта — на реальной модели и публичном бенчмарке, снизив порог входа для разработчиков, которые хотят улучшить открытую модель под конкретную задачу без дорогостоящей инфраструктуры.