Open-source MiniMind обучает языковую модель на 64 млн параметров за 2 часа и 3 юаня
Хотите понять, как устроена языковая модель изнутри, а не дообучать чужую через готовые библиотеки? Открытый проект MiniMind даёт весь код на чистом PyTorch для модели на 64 млн параметров (весов), что в сотни раз меньше привычных ассистентов. Этап SFT, где модель учится вести диалог, на одной видеокарте RTX 3090 занимает около 2 часов и стоит около 3 юаней аренды. Поэтому идеи с DPO, LoRA и RL дёшево проверять здесь, а не на большой модели.
AI-обработка оригинала GitHub Trending AI; редакция Hamidun News
Большинство разработчиков знакомы с обучением LLM так: берёшь готовую модель, подключаешь библиотеку, пишешь десяток строк, и всё «само» дообучается. Удобно, но внутри остаётся чёрный ящик. Проект MiniMind, который за сутки получил 188 звёзд в GitHub Trending, предлагает обратное: собрать и обучить маленькую языковую модель целиком своими руками. Цифры из заголовка означают следующее. «64 млн параметров» — это число настраиваемых весов модели; у привычных ассистентов их десятки и сотни миллиардов, так что MiniMind меньше в сотни раз. «2 часа» — реально замеренное время этапа SFT (обучения диалогу на примерах «вопрос — ответ») на одной видеокарте NVIDIA RTX 3090. «3 юаня» — стоимость аренды GPU за эти два часа.
Автор, Jingyao Gong, сравнивает привычные обёртки над обучением с полётом в первом классе, а собственный подход — со сборкой самолёта из конструктора. Он критикует и интернет-курсы, где LLM объясняют поверхностно и с ошибками. Поэтому все ключевые алгоритмы в репозитории написаны на «голом» PyTorch, без высокоуровневых интерфейсов сторонних библиотек.
Что внутри и как читать «два часа»
Проект открывает весь путь: чистку и дедупликацию данных, предобучение (модель читает корпус и учится предсказывать следующий токен), SFT, LoRA, DPO, обучение с подкреплением и дистилляцию. LoRA — лёгкая донастройка, при которой обучается небольшая добавка к весам, а основная модель остаётся нетронутой; здесь она написана без библиотеки peft. DPO учит модель на парах «хороший ответ — плохой ответ». PPO, GRPO и CISPO — алгоритмы обучения с подкреплением, где ответ оценивает другая модель или проверяемое правило. Есть ещё Tool Use и Agentic RL (вызов инструментов и обучение на итоге многошагового сценария) и переключатель «думать или отвечать сразу».
Важная оговорка: два часа и три юаня относятся только к этапу SFT. Предобучение — отдельный шаг, но для тех, у кого одна карта, авторы подготовили облегчённые наборы: pretrain_t2t_mini на 1,2 ГБ и sft_t2t_mini на 1,6 ГБ. Полные версии весят 10 ГБ и больше. Тестовый стенд авторов — восемь RTX 3090 на 24 ГБ, но проект поддерживает и одну карту, и несколько (DDP, DeepSpeed), возобновление после сбоя, графики в wandb и swanlab.
Для запуска и проверки есть всё необходимое: оценка на C-Eval, C-MMLU и OpenBookQA, расширение контекста через YaRN, минимальный сервер, совместимый с OpenAI API, и чат-интерфейс на Streamlit. Готовые веса запускаются через llama.cpp, vLLM и Ollama, а подключить можно Open-WebUI и FastGPT.
Чему это учит и где предел
В README есть и инженерные наблюдения, полезные за пределами проекта. Токенизатор здесь намеренно маленький: в крошечной модели большой словарь съедал бы заметную долю параметров, поэтому авторы не советуют его переобучать. Для малых моделей, по наблюдению из работы MobileLLM, «глубокая и узкая» архитектура обычно выгоднее «широкой и мелкой», хотя у узости есть нижний предел. А MoE-вариант (когда запросы распределяются между «экспертами») при нативной реализации на PyTorch учится заметно медленнее обычной модели: ускорить его можно только специальными оптимизированными библиотеками.
Ограничения авторы описывают сами. Модель на 64 млн параметров слабо знает факты, а ранние версии могли выдавать бессмыслицу вместо ответа. Инструменты в обучающих данных — несколько имитаций вроде запроса времени, математики и погоды, поэтому реальной способности работать с произвольными API пока нет. Если включить одновременно мышление и вызов инструментов, модель обычно не показывает ход рассуждений: в данных нет совместных примеров.
Практический вывод: MiniMind не заменит продакшн-модель, зато это недорогой стенд. На нём удобно сравнить DPO и GRPO, понять, как ваш датасет ведёт себя в SFT, и научить команду читать код обучения без магии библиотек. Лицензия Apache 2.0 разрешает свободно использовать код, а когда нужно найти, где ломается пайплайн, дешевле всего проверять это на модели, которую можно переобучить за вечер.
- 21 нояб. 2026 г.OpenAI GPT-6 Cyber нашла около 35 дыр в iPhone, Mac и другой технике Apple
- 21 нояб. 2026 г.22 агента Claude шесть недель искали ответы по чёрным дырам — и решили две задачи
- 21 нояб. 2026 г.Google разделит хранение чатов и обучение Gemini: отказ без потери истории
- 21 нояб. 2026 г.Apple в macOS 27.3 beta 2 даст ограничивать доступ ИИ-агентов к файлам Mac
Вопросы и ответы по материалу
Что известно по теме: что внутри и как читать «два часа»?
Проект открывает весь путь: чистку и дедупликацию данных, предобучение (модель читает корпус и учится предсказывать следующий токен), SFT, LoRA, DPO, обучение с подкреплением и дистилляцию. LoRA — лёгкая донастройка, при которой обучается небольшая добавка к весам, а основная модель остаётся нетронутой; здесь она написана без библиотеки peft. DPO учит модель на парах «хороший ответ — плохой ответ». PPO, GRPO и CISPO — алгоритмы обучения с подкреплением, где ответ оценивает другая модель или проверяемое правило.
Что известно по теме: чему это учит и где предел?
В README есть и инженерные наблюдения, полезные за пределами проекта. Токенизатор здесь намеренно маленький: в крошечной модели большой словарь съедал бы заметную долю параметров, поэтому авторы не советуют его переобучать. Для малых моделей, по наблюдению из работы MobileLLM, «глубокая и узкая» архитектура обычно выгоднее «широкой и мелкой», хотя у узости есть нижний предел.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.