Разработчик обучил языковую модель на 260M с нуля на RTX 4060 с 8 ГБ

Большинство историй про «свою модель» на деле оказываются файнтюном чужих весов. Здесь всё иначе. Автор линейки dpp-gpt сделал всё сам: токенизатор, претрейн, SFT, RL и бенчмарки. Железо — домашняя RTX 4060 с 8 ГБ памяти. Свежая версия 2.2 Pro на 259 млн параметров не обгоняет профессиональные малые модели, но этот проект хорошо показывает, как выглядит полный цикл обучения без бюджета лаборатории.

Что внутри и на чём учили

Архитектура знакомая по Llama: RMSNorm, RoPE, SwiGLU, GQA. У модели 20 слоёв, ширина 1024, контекст 8192 токена и собственный BPE-словарь на 16 384 токена, где цифры идут отдельными токенами. Языки: русский, английский, французский.

Претрейн занял около 31 млрд токенов. Смесь собрана аккуратно: Википедия на трёх языках (23%), веб-текст CulturaX, код на Python, математика (14%), стихи, переводы и синтетика по работе с текстом.

Самая интересная часть — математика. Её генерирует скрипт, а ответ записан по разрядам: сотни, десятки, единицы, затем итог. Каждый пример проверяется Python, поэтому ошибок в данных нет. Так модель учится считать числа до 40 знаков: она повторяет алгоритм, а не угадывает ответ.

SFT-набор вырос до 60 млн токенов (около 122 тысяч диалогов). Почти всё сгенерировал DeepSeek через OpenRouter, ответы с числами перепроверил код. На данные ушло примерно 3000 рублей. В обучение подмешали 32% претрейн-данных, чтобы модель не забывала базу.

RL на 8 ГБ: что сработало, а что сломалось

Финальную версию получили через GRPO. Для каждого запроса модель пишет 8 ответов, получает награду и учится на разнице внутри группы. Награду выдаёт либо код (арифметика, тесты для Python, JSON, вызов инструментов), либо локальный судья Gemma 4 E4B для сочинений, стихов и фактов.

Полезный приём — подбор сложности. Если задача всегда решается или никогда не решается, все 8 ответов получают одинаковую награду и градиента нет. Поэтому такие типы задач выбираются реже, а те, где модель решает примерно половину, чаще.

Не обошлось без классического reward hacking. В первых прогонах награду за текст считал код по косвенным признакам, и модель научилась отвечать коротко. Сочинения и общие вопросы сломались. Пришлось добавить судью и перебалансировать обучение.

Когда очевидные проблемы кончились, рост остановился: каждый новый чекпоинт где-то выигрывал, где-то терял. Помогло простое усреднение весов: 0,4 · GRPO8 + 0,3 · GRPO9 + 0,3 · GRPO5. Такой «суп» оказался лучше любого из чекпоинтов.

Отдельная неприятность: SFT просадил математику. У базовой модели на собственном бенчмарке было 47,6%, после первого SFT 26%, после подбора смеси 36,8%.

Цифры без прикрас

На собственном наборе из 2450 вопросов среднее выросло с 8,3 (версия 2.15) до 24,2. Модель лидирует в арифметике и вызове инструментов, но в среднем лишь на уровне Falcon-H1-Tiny 100M и позади Gemma 3 270M. Оговорка автора: набор сделан под его форматы и ему подыгрывает.

На общепринятых английских тестах картина слабее. HellaSwag 28,9% против 39,3% у Gemma 3 270M и 42,9% у SmolLM2 135M. GSM8K 1,8%, IFEval 14,1%. База без SFT даёт на HellaSwag те же 28,8%, значит, потолок задаёт претрейн: 31 млрд токенов против триллионов. RL эти тесты не сдвинул, его выигрыш в арифметике, инструментах, JSON и инструкциях.

Слабые места тоже названы: умножение 5–6-значных чисел верно примерно в 30% случаев, модель теряет счёт между сообщениями, плохо слушается команд вроде «ответь одним словом», а режим «с мыслями» пока не помогает. Вызов инструментов работает только в формате, на котором учили.

Что из этого взять

Первое: для узких задач (структурированный вывод, вызов функций, арифметика) проверяемые синтетические данные и награда кодом дают заметный прирост даже на крошечной модели. Второе: если в RL-награде есть слабое место, модель его найдёт, поэтому нужны разнообразные проверки и судья. Третье: усреднение весов близких чекпоинтов почти ничего не стоит и может обойти поиск «лучшего». И четвёртое: на общих знаниях маленькая модель с малым бюджетом токенов не конкурент. Следующие шаги автора — версия flash на 140M с исправленной долей Python и увеличенный словарь с локальным вниманием для ускорения.