Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РазборКод / SDK · В работуHacker News AI→ оригинал

Разработчик собрал DeepSeek V3 в 190 строк на JAX и обучил на MacBook Air за 2,6 часа

Технический отчёт DeepSeek V3 читать трудно, а настоящий код модели — тысячи строк. Разработчик уместил архитектуру в 190 строк на JAX (библиотеке Google для нейросетей) и за 2,6 часа обучил мини-версию на 36,2 млн параметров на MacBook Air M5. Это учебный стенд: модель читала 207 детективов и пишет гладко, но бессмысленно. Чтобы понять устройство DeepSeek, проще прочитать этот код.

AI-обработка оригинала Hacker News AI; редакция Hamidun News
Разработчик собрал DeepSeek V3 в 190 строк на JAX и обучил на MacBook Air за 2,6 часа
Источник: Hacker News AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHacker News AI ↗
Главный редактор
Ключевой факт #1Без балансировки эксперты получали от 0,09% до 18,6% токенов
С балансировкой доли ровные5,7–6,9% при идеале 6,25%
Ошибка на проверке одинакова3,921 с балансом и 3,923 без

Технический отчёт DeepSeek V3 читать тяжело: там формулы, а настоящий код модели занимает тысячи строк с кучей зависимостей, в которых теряется сама идея. Разработчик Vaibhaav Tiwari показал на Hacker News, как это можно обойти. Он уместил всю архитектуру DeepSeek V3 в 190 строк на JAX (это библиотека Google для численных расчётов и обучения нейросетей) и обучил уменьшенную копию прямо на ноутбуке MacBook Air M5 за 2,6 часа. Получилась модель на 36,2 млн параметров вместо 671 млрд у оригинала. Сильной её не назовёшь, но читать такой код можно как учебник.

Что внутри этих 190 строк

Проект написан без Flax, Equinox и PyTorch. Параметры — обычные словари с массивами, а каждая часть модели — функция, которую можно прочитать сверху вниз. Автор воспроизвёл основные приёмы DeepSeek V3 в уменьшенном виде.

Первый приём — Multi-head Latent Attention (MLA). Обычное внимание хранит в кэше полные ключи и значения для каждого токена, и на длинном тексте это съедает память. MLA хранит один маленький сжатый вектор на токен и на каждом слое, а нужное восстанавливает из него. Отдельный поворотный (rotary) ключ общий для всех голов и лежит вне сжатого вектора.

Второй — смесь экспертов (MoE). Представьте колл-центр: один универсальный оператор отвечает всем, а ещё есть 16 узких специалистов, и на каждый вопрос зовут четверых лучших. Так и здесь: один общий эксперт работает всегда, плюс 16 маршрутизируемых, из которых на каждый токен выбираются четыре. Поэтому на токен активны 13,6 млн параметров из 36,2 млн.

Третий — балансировка без вспомогательной функции ошибки. Чтобы все специалисты в колл-центре были загружены, у каждого эксперта есть поправка (bias), которая подталкивает маршрутизатор к простаивающим. Она влияет только на выбор экспертов, но не на их веса. Дополнительно стоит маленькая функция баланса на уровне последовательности с коэффициентом 1e-4, как в статье.

Четвёртый — предсказание нескольких токенов (MTP). Дополнительный модуль угадывает не только следующий токен, но и следующий за ним, с весом 0,3 в общей ошибке обучения. Вычисления идут в bf16 поверх мастер-весов в f32.

Как обучали и что получилось

Корпус — 207 детективных книг, находящихся в общественном достоянии США: романы Дэшила Хэммета (в данных он повторён трижды) и около 200 произведений из Project Gutenberg. Всего 21,7 млн токенов, токенизатор — BPE на 8192 токена. Проверка идёт на отложенных криминальных текстах.

Основной прогон: 12 тысяч шагов, примерно 98 млн токенов (около 4,5 эпохи), 2,6 часа на MacBook Air M5 с 24 ГБ памяти.

Самое наглядное — опыт с балансировкой. К 2000-му шагу при включённой поправке каждому эксперту доставалось 5,7–6,9% токенов, при идеальных 6,25%. Без неё доли разъезжались от 0,09% до 18,6%: одни эксперты перегружены, другие почти не работают. При этом ошибка на проверочных текстах практически одинакова: 3,921 с балансировкой и 3,923 без неё. Выходит, поправка выравнивает нагрузку бесплатно, как и заявлено в статье DeepSeek.

Сама модель, по словам автора, слабая. На начало фразы «The fog came in off the» она дописывает: «bay, and the great trees were spreading and the stars were shining». Грамматика на месте, смысл расплывчатый.

Ограничения и кому это пригодится

Автор честно перечислил, чего нет. Каждый эксперт считает каждый токен, а результаты невыбранных просто зануляются: математика маршрутизации точная, но разреженной раздачи токенов и параллелизма экспертов нет. В MLA нет поглощения весов (weight absorption): ключи и значения распаковываются явно, это читается проще, но на инференсе медленнее. Не реализованы FP8-обучение, DualPipe, ограничение маршрутизации по узлам, расширение контекста YaRN и любое пост-обучение. Масштаб тоже несопоставим: 6 слоёв против 61, контекст 256 токенов против 128 тысяч.

Зато проект удобно воспроизводить. Есть 39 тестов: маскирование будущих токенов, совпадение кэша с полным проходом, маршрутизация, цели MTP, bf16-мастер-веса и другие. Код запускается на Apple Silicon через jax-metal, на CPU работает медленнее, для этого есть уменьшенный конфиг. На AMD RX 7600 XT с 16 ГБ полный прогон занимает около 50 минут при примерно 35 тысячах токенов в секунду, ошибка на проверке 3,527 против 3,507 на Mac.

Одно предупреждение по безопасности: чекпоинт сохранён как Python pickle, а при загрузке такой файл может выполнить произвольный код. Загружайте его только из доверенных источников, а лучше обучите модель сами.

Практический вывод простой. Если хотите разобраться в MLA, MoE и MTP, не нужно штурмовать промышленный код: хватит вечера с этим репозиторием и ноутбуком. Как шпаргалка по архитектуре DeepSeek он полезнее многих пересказов, а как стенд для экспериментов с маршрутизацией экспертов удобнее громоздких фреймворков.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что внутри этих 190 строк?

Проект написан без Flax, Equinox и PyTorch. Параметры — обычные словари с массивами, а каждая часть модели — функция, которую можно прочитать сверху вниз. Автор воспроизвёл основные приёмы DeepSeek V3 в уменьшенном виде. Первый приём — Multi-head Latent Attention (MLA). Обычное внимание хранит в кэше полные ключи и значения для каждого токена, и на длинном тексте это съедает память. MLA хранит один маленький сжатый вектор на токен и на каждом слое, а нужное восстанавливает из него.

Что известно по теме: как обучали и что получилось?

Корпус — 207 детективных книг, находящихся в общественном достоянии США: романы Дэшила Хэммета (в данных он повторён трижды) и около 200 произведений из Project Gutenberg. Всего 21,7 млн токенов, токенизатор — BPE на 8192 токена. Проверка идёт на отложенных криминальных текстах. Основной прогон: 12 тысяч шагов, примерно 98 млн токенов (около 4,5 эпохи), 2,6 часа на MacBook Air M5 с 24 ГБ памяти. Самое наглядное — опыт с балансировкой.

Что известно по теме: ограничения и кому это пригодится?

Автор честно перечислил, чего нет. Каждый эксперт считает каждый токен, а результаты невыбранных просто зануляются: математика маршрутизации точная, но разреженной раздачи токенов и параллелизма экспертов нет. В MLA нет поглощения весов (weight absorption): ключи и значения распаковываются явно, это читается проще, но на инференсе медленнее. Не реализованы FP8-обучение, DualPipe, ограничение маршрутизации по узлам, расширение контекста YaRN и любое пост-обучение.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…