Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуGitHub Trending AI→ оригинал

Open-source MiniMind обучает языковую модель на 64 млн параметров за 2 часа и 3 юаня

Хотите понять, как устроена языковая модель изнутри, а не дообучать чужую через готовые библиотеки? Открытый проект MiniMind даёт весь код на чистом PyTorch для модели на 64 млн параметров (весов), что в сотни раз меньше привычных ассистентов. Этап SFT, где модель учится вести диалог, на одной видеокарте RTX 3090 занимает около 2 часов и стоит около 3 юаней аренды. Поэтому идеи с DPO, LoRA и RL дёшево проверять здесь, а не на большой модели.

AI-обработка оригинала GitHub Trending AI; редакция Hamidun News
Open-source MiniMind обучает языковую модель на 64 млн параметров за 2 часа и 3 юаня
Источник: GitHub Trending AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникGitHub Trending AI ↗
Главный редактор
Лицензия Apache 2.0код, данные и веса моделей открыты
Весь циклпредобучение, SFT, LoRA, DPO, PPO/GRPO/CISPO, дистилляция
Ключевой факт #3Есть OpenAI-совместимый сервер, запуск через llama.cpp, vLLM и Ollama

Большинство разработчиков знакомы с обучением LLM так: берёшь готовую модель, подключаешь библиотеку, пишешь десяток строк, и всё «само» дообучается. Удобно, но внутри остаётся чёрный ящик. Проект MiniMind, который за сутки получил 188 звёзд в GitHub Trending, предлагает обратное: собрать и обучить маленькую языковую модель целиком своими руками. Цифры из заголовка означают следующее. «64 млн параметров» — это число настраиваемых весов модели; у привычных ассистентов их десятки и сотни миллиардов, так что MiniMind меньше в сотни раз. «2 часа» — реально замеренное время этапа SFT (обучения диалогу на примерах «вопрос — ответ») на одной видеокарте NVIDIA RTX 3090. «3 юаня» — стоимость аренды GPU за эти два часа.

Автор, Jingyao Gong, сравнивает привычные обёртки над обучением с полётом в первом классе, а собственный подход — со сборкой самолёта из конструктора. Он критикует и интернет-курсы, где LLM объясняют поверхностно и с ошибками. Поэтому все ключевые алгоритмы в репозитории написаны на «голом» PyTorch, без высокоуровневых интерфейсов сторонних библиотек.

Что внутри и как читать «два часа»

Проект открывает весь путь: чистку и дедупликацию данных, предобучение (модель читает корпус и учится предсказывать следующий токен), SFT, LoRA, DPO, обучение с подкреплением и дистилляцию. LoRA — лёгкая донастройка, при которой обучается небольшая добавка к весам, а основная модель остаётся нетронутой; здесь она написана без библиотеки peft. DPO учит модель на парах «хороший ответ — плохой ответ». PPO, GRPO и CISPO — алгоритмы обучения с подкреплением, где ответ оценивает другая модель или проверяемое правило. Есть ещё Tool Use и Agentic RL (вызов инструментов и обучение на итоге многошагового сценария) и переключатель «думать или отвечать сразу».

Важная оговорка: два часа и три юаня относятся только к этапу SFT. Предобучение — отдельный шаг, но для тех, у кого одна карта, авторы подготовили облегчённые наборы: pretrain_t2t_mini на 1,2 ГБ и sft_t2t_mini на 1,6 ГБ. Полные версии весят 10 ГБ и больше. Тестовый стенд авторов — восемь RTX 3090 на 24 ГБ, но проект поддерживает и одну карту, и несколько (DDP, DeepSpeed), возобновление после сбоя, графики в wandb и swanlab.

Для запуска и проверки есть всё необходимое: оценка на C-Eval, C-MMLU и OpenBookQA, расширение контекста через YaRN, минимальный сервер, совместимый с OpenAI API, и чат-интерфейс на Streamlit. Готовые веса запускаются через llama.cpp, vLLM и Ollama, а подключить можно Open-WebUI и FastGPT.

Чему это учит и где предел

В README есть и инженерные наблюдения, полезные за пределами проекта. Токенизатор здесь намеренно маленький: в крошечной модели большой словарь съедал бы заметную долю параметров, поэтому авторы не советуют его переобучать. Для малых моделей, по наблюдению из работы MobileLLM, «глубокая и узкая» архитектура обычно выгоднее «широкой и мелкой», хотя у узости есть нижний предел. А MoE-вариант (когда запросы распределяются между «экспертами») при нативной реализации на PyTorch учится заметно медленнее обычной модели: ускорить его можно только специальными оптимизированными библиотеками.

Ограничения авторы описывают сами. Модель на 64 млн параметров слабо знает факты, а ранние версии могли выдавать бессмыслицу вместо ответа. Инструменты в обучающих данных — несколько имитаций вроде запроса времени, математики и погоды, поэтому реальной способности работать с произвольными API пока нет. Если включить одновременно мышление и вызов инструментов, модель обычно не показывает ход рассуждений: в данных нет совместных примеров.

Практический вывод: MiniMind не заменит продакшн-модель, зато это недорогой стенд. На нём удобно сравнить DPO и GRPO, понять, как ваш датасет ведёт себя в SFT, и научить команду читать код обучения без магии библиотек. Лицензия Apache 2.0 разрешает свободно использовать код, а когда нужно найти, где ломается пайплайн, дешевле всего проверять это на модели, которую можно переобучить за вечер.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что внутри и как читать «два часа»?

Проект открывает весь путь: чистку и дедупликацию данных, предобучение (модель читает корпус и учится предсказывать следующий токен), SFT, LoRA, DPO, обучение с подкреплением и дистилляцию. LoRA — лёгкая донастройка, при которой обучается небольшая добавка к весам, а основная модель остаётся нетронутой; здесь она написана без библиотеки peft. DPO учит модель на парах «хороший ответ — плохой ответ». PPO, GRPO и CISPO — алгоритмы обучения с подкреплением, где ответ оценивает другая модель или проверяемое правило.

Что известно по теме: чему это учит и где предел?

В README есть и инженерные наблюдения, полезные за пределами проекта. Токенизатор здесь намеренно маленький: в крошечной модели большой словарь съедал бы заметную долю параметров, поэтому авторы не советуют его переобучать. Для малых моделей, по наблюдению из работы MobileLLM, «глубокая и узкая» архитектура обычно выгоднее «широкой и мелкой», хотя у узости есть нижний предел.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…