Разработчик собрал DeepSeek V3 в 190 строк на JAX и обучил на MacBook Air за 2,6 часа
Технический отчёт DeepSeek V3 читать трудно, а настоящий код модели — тысячи строк. Разработчик уместил архитектуру в 190 строк на JAX (библиотеке Google для нейросетей) и за 2,6 часа обучил мини-версию на 36,2 млн параметров на MacBook Air M5. Это учебный стенд: модель читала 207 детективов и пишет гладко, но бессмысленно. Чтобы понять устройство DeepSeek, проще прочитать этот код.
AI-обработка оригинала Hacker News AI; редакция Hamidun News
Технический отчёт DeepSeek V3 читать тяжело: там формулы, а настоящий код модели занимает тысячи строк с кучей зависимостей, в которых теряется сама идея. Разработчик Vaibhaav Tiwari показал на Hacker News, как это можно обойти. Он уместил всю архитектуру DeepSeek V3 в 190 строк на JAX (это библиотека Google для численных расчётов и обучения нейросетей) и обучил уменьшенную копию прямо на ноутбуке MacBook Air M5 за 2,6 часа. Получилась модель на 36,2 млн параметров вместо 671 млрд у оригинала. Сильной её не назовёшь, но читать такой код можно как учебник.
Что внутри этих 190 строк
Проект написан без Flax, Equinox и PyTorch. Параметры — обычные словари с массивами, а каждая часть модели — функция, которую можно прочитать сверху вниз. Автор воспроизвёл основные приёмы DeepSeek V3 в уменьшенном виде.
Первый приём — Multi-head Latent Attention (MLA). Обычное внимание хранит в кэше полные ключи и значения для каждого токена, и на длинном тексте это съедает память. MLA хранит один маленький сжатый вектор на токен и на каждом слое, а нужное восстанавливает из него. Отдельный поворотный (rotary) ключ общий для всех голов и лежит вне сжатого вектора.
Второй — смесь экспертов (MoE). Представьте колл-центр: один универсальный оператор отвечает всем, а ещё есть 16 узких специалистов, и на каждый вопрос зовут четверых лучших. Так и здесь: один общий эксперт работает всегда, плюс 16 маршрутизируемых, из которых на каждый токен выбираются четыре. Поэтому на токен активны 13,6 млн параметров из 36,2 млн.
Третий — балансировка без вспомогательной функции ошибки. Чтобы все специалисты в колл-центре были загружены, у каждого эксперта есть поправка (bias), которая подталкивает маршрутизатор к простаивающим. Она влияет только на выбор экспертов, но не на их веса. Дополнительно стоит маленькая функция баланса на уровне последовательности с коэффициентом 1e-4, как в статье.
Четвёртый — предсказание нескольких токенов (MTP). Дополнительный модуль угадывает не только следующий токен, но и следующий за ним, с весом 0,3 в общей ошибке обучения. Вычисления идут в bf16 поверх мастер-весов в f32.
Как обучали и что получилось
Корпус — 207 детективных книг, находящихся в общественном достоянии США: романы Дэшила Хэммета (в данных он повторён трижды) и около 200 произведений из Project Gutenberg. Всего 21,7 млн токенов, токенизатор — BPE на 8192 токена. Проверка идёт на отложенных криминальных текстах.
Основной прогон: 12 тысяч шагов, примерно 98 млн токенов (около 4,5 эпохи), 2,6 часа на MacBook Air M5 с 24 ГБ памяти.
Самое наглядное — опыт с балансировкой. К 2000-му шагу при включённой поправке каждому эксперту доставалось 5,7–6,9% токенов, при идеальных 6,25%. Без неё доли разъезжались от 0,09% до 18,6%: одни эксперты перегружены, другие почти не работают. При этом ошибка на проверочных текстах практически одинакова: 3,921 с балансировкой и 3,923 без неё. Выходит, поправка выравнивает нагрузку бесплатно, как и заявлено в статье DeepSeek.
Сама модель, по словам автора, слабая. На начало фразы «The fog came in off the» она дописывает: «bay, and the great trees were spreading and the stars were shining». Грамматика на месте, смысл расплывчатый.
Ограничения и кому это пригодится
Автор честно перечислил, чего нет. Каждый эксперт считает каждый токен, а результаты невыбранных просто зануляются: математика маршрутизации точная, но разреженной раздачи токенов и параллелизма экспертов нет. В MLA нет поглощения весов (weight absorption): ключи и значения распаковываются явно, это читается проще, но на инференсе медленнее. Не реализованы FP8-обучение, DualPipe, ограничение маршрутизации по узлам, расширение контекста YaRN и любое пост-обучение. Масштаб тоже несопоставим: 6 слоёв против 61, контекст 256 токенов против 128 тысяч.
Зато проект удобно воспроизводить. Есть 39 тестов: маскирование будущих токенов, совпадение кэша с полным проходом, маршрутизация, цели MTP, bf16-мастер-веса и другие. Код запускается на Apple Silicon через jax-metal, на CPU работает медленнее, для этого есть уменьшенный конфиг. На AMD RX 7600 XT с 16 ГБ полный прогон занимает около 50 минут при примерно 35 тысячах токенов в секунду, ошибка на проверке 3,527 против 3,507 на Mac.
Одно предупреждение по безопасности: чекпоинт сохранён как Python pickle, а при загрузке такой файл может выполнить произвольный код. Загружайте его только из доверенных источников, а лучше обучите модель сами.
Практический вывод простой. Если хотите разобраться в MLA, MoE и MTP, не нужно штурмовать промышленный код: хватит вечера с этим репозиторием и ноутбуком. Как шпаргалка по архитектуре DeepSeek он полезнее многих пересказов, а как стенд для экспериментов с маршрутизацией экспертов удобнее громоздких фреймворков.
- 21 нояб. 2026 г.Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
- 21 нояб. 2026 г.Программист перестал быть диспетчером ИИ-агентов: рутину передач взял Multica
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
- 21 нояб. 2026 г.Через OpenRouter три дня отвечала взломанная DeepSeek: отказы упали с 83–98% до 1%
Вопросы и ответы по материалу
Что известно по теме: что внутри этих 190 строк?
Проект написан без Flax, Equinox и PyTorch. Параметры — обычные словари с массивами, а каждая часть модели — функция, которую можно прочитать сверху вниз. Автор воспроизвёл основные приёмы DeepSeek V3 в уменьшенном виде. Первый приём — Multi-head Latent Attention (MLA). Обычное внимание хранит в кэше полные ключи и значения для каждого токена, и на длинном тексте это съедает память. MLA хранит один маленький сжатый вектор на токен и на каждом слое, а нужное восстанавливает из него.
Что известно по теме: как обучали и что получилось?
Корпус — 207 детективных книг, находящихся в общественном достоянии США: романы Дэшила Хэммета (в данных он повторён трижды) и около 200 произведений из Project Gutenberg. Всего 21,7 млн токенов, токенизатор — BPE на 8192 токена. Проверка идёт на отложенных криминальных текстах. Основной прогон: 12 тысяч шагов, примерно 98 млн токенов (около 4,5 эпохи), 2,6 часа на MacBook Air M5 с 24 ГБ памяти. Самое наглядное — опыт с балансировкой.
Что известно по теме: ограничения и кому это пригодится?
Автор честно перечислил, чего нет. Каждый эксперт считает каждый токен, а результаты невыбранных просто зануляются: математика маршрутизации точная, но разреженной раздачи токенов и параллелизма экспертов нет. В MLA нет поглощения весов (weight absorption): ключи и значения распаковываются явно, это читается проще, но на инференсе медленнее. Не реализованы FP8-обучение, DualPipe, ограничение маршрутизации по узлам, расширение контекста YaRN и любое пост-обучение.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.