Грант Яндекса ушёл на движок для LLM: 35B-модель на RTX 2080 Ti втрое быстрее llama.cpp
Автор потратил грант Яндекса в 600 000 рублей на TinyCoder — движок для запуска нейросетей дома, написанный с нуля на C++ и CUDA. Модель Ornith-1.5-35B-A3B весит 34,4 ГБ, а в старой RTX 2080 Ti всего 11 ГБ, поэтому часть модели подгружается по ходу работы. Всё равно она выдаёт 53,6 токена в секунду против 17,1 у llama.cpp, то есть втрое быстрее. На крупных плотных моделях отрыв почти исчезает, так что проверяйте на своей задаче.
AI-обработка оригинала Habr AI; редакция Hamidun News
Запускать большие нейросети дома мешает не мощность видеокарты, а её память: у большинства разработчиков стоит карта на 8–12 ГБ, а интересные модели весят десятки гигабайт. Российский разработчик получил от Яндекса грант в 600 000 рублей и потратил его на TinyCoder — движок для локальных моделей, написанный с нуля на C++ и CUDA. Результат в одной цифре: модель Ornith-1.5-35B-A3B размером 34,4 ГБ идёт на RTX 2080 Ti с 11 ГБ памяти и генерирует 53,6 токена в секунду. Токен — это примерно слово или его часть, так что речь о скорости печати ответа. Популярный движок llama.cpp в том же сценарии даёт 17,1 токена в секунду, то есть втрое меньше.
Откуда деньги и зачем движок
В начале 2026 года Яндекс запустил гранты для open-source проектов на платформе SourceCraft. Автор подал библиотеку np — C++-аналог NumPy с поддержкой CUDA и ручными SIMD-оптимизациями (AVX2, AVX-512, AMX). По его замерам, она быстрее оригинала в 2–20 раз и расходует в полтора раза меньше памяти. Проект попал в список победителей, и на счёт пришло 600 000 рублей.
Дальше встал вопрос, на что их тратить. Переписывать весь NumPy смысла не было: задачу ускорения автор уже решил. Он выбрал локальный ИИ-агент для кодинга, а затем сосредоточился на движке под ним. Облачную виртуалку с GPU автор счёл слишком дорогой и работал на домашнем ПК: Intel i7-4790K, 32 ГБ DDR3 и RTX 2080 Ti на 11 ГБ.
Код движка в основном писали нейросети. Сначала автор использовал DeepSeek V4, потом DeepSeek V4.1 Flash: по его словам, они стоили дешевле и давали код лучше, чем gpt-oss-120b или Qwen3-235B. Когда 11 октября 2026 года SourceCraft лёг после инцидента в дата-центре Яндекса, на грантовом счёте оставалось около 200 000 рублей. Облачные модели Яндекса стали недоступны, и пришлось перейти на внешнего провайдера DeepSeek. Для проекта про локального агента это хороший аргумент: он не должен зависеть от чужих сервисов.
Как модель на 34 ГБ влезает в 11 ГБ
tinycoder-inference — не обёртка над ggml или PyTorch. Из внешнего кода в нём только библиотека np и cuBLAS для плотных матричных умножений. Ядра деквантования, int8-умножения матриц, flash attention и сэмплеры автор написал сам. Движок читает форматы GGUF (кванты от Q2_K до Q6_K, IQ-серия и тернарный pq2_0) и EXL3 напрямую, без конвертации и без Python на каждый токен.
Главный трюк относится к моделям Mixture-of-Experts (MoE). Такая модель состоит из множества «экспертов», но на каждый токен работает лишь малая их часть. Поэтому плотная часть остаётся в видеопамяти, а эксперты потоком подгружаются через слой-арену. Представьте библиотеку с маленьким читальным залом: на столе лежат нужные книги, остальное приносят из хранилища по запросу.
Планировщик контекста тоже работает по факту: перед загрузкой он измеряет свободную VRAM и RAM и сам выбирает точность KV-кэша. На RTX 2080 Ti это даёт до 196 352 токенов контекста для 9B-модели и до 64 256 для 27B.
Что показали замеры и где предел
Замеры сделаны по схеме pp512/tg128: обработка 512 токенов промпта и генерация 128 токенов, три пары чередующихся прогонов.
- Qwen2.5-Coder-1.5B q2_k: промпт 12 240 против 7 679 токенов/с у llama.cpp, генерация 325,9 против 321,6.
- Он же в формате iq3_xxs: 12 243 против 10 007, генерация 273,8 против 262,2.
- Ornith-1.5-35B-A3B в гибридном режиме: промпт 176,3 против 132,2, генерация 53,6 против 17,1.
- Тернарная Bonsai-27B: 880,6 против 878,5 на промпте и 51,7 против 50,4 на генерации — почти паритет.
- Qwen3.8-27B в EXL3 против exllamav3: на промпте 727,5 против 719,5, а на генерации чуть медленнее — 23,60 против 23,76.
Цифры стоит читать трезво. Это замеры одного автора на одной карте поколения Turing. Ampere (RTX 3090) пока в отладке, а новые карты работают через совместимый PTX JIT или базовый SASS. Заметный выигрыш виден на лёгких квантах и на выгрузке MoE, а на крупных плотных моделях движок примерно сравнялся с конкурентами.
Шлюз и планы
Чтобы движок работал с любым агентом, автор написал на Go шлюз tinycoder-openai. Он поддерживает /v1/chat/completions, /v1/responses и Anthropic Messages API, а также tool_calls и SSE-стриминг. Модели загружаются по первому запросу и выгружаются из VRAM по таймауту, а генерацию можно прервать прямо внутри цикла по слоям. Исполняемый файл весит 9 МБ, нативная библиотека — 145 МБ. В ближайших планах — спекулятивное декодирование и ядра под современные видеокарты.
Практический вывод: если вы гоняете локальные модели на потребительской карте, особенно большую MoE-модель в малом VRAM, стоит прогнать свой сценарий на TinyCoder и сравнить с llama.cpp. Проект молодой, но результаты на старом железе показывают, что там ещё есть резерв скорости.
- 22 нояб. 2026 г.Русский голосовой ИИ уместили в 21 МБ: tiny-voca-ru работает офлайн на CPU
- 21 нояб. 2026 г.GigaChat — 7-й в мире в слепом рейтинге на русском, но на 78 баллов Elo позади лидера
- 21 нояб. 2026 г.Открытый MiniMind позволяет обучить свою LLM с нуля за $0,42 на RTX 3090
- 21 нояб. 2026 г.Агент Skein стирает старые этапы из контекста: 97% удачных запусков, но дороже OpenCode
Вопросы и ответы по материалу
Что известно по теме: откуда деньги и зачем движок?
В начале 2026 года Яндекс запустил гранты для open-source проектов на платформе SourceCraft. Автор подал библиотеку np — C++-аналог NumPy с поддержкой CUDA и ручными SIMD-оптимизациями (AVX2, AVX-512, AMX). По его замерам, она быстрее оригинала в 2–20 раз и расходует в полтора раза меньше памяти. Проект попал в список победителей, и на счёт пришло 600 000 рублей. Дальше встал вопрос, на что их тратить. Переписывать весь NumPy смысла не было: задачу ускорения автор уже решил.
Что известно по теме: как модель на 34 ГБ влезает в 11 ГБ?
tinycoder-inference — не обёртка над ggml или PyTorch. Из внешнего кода в нём только библиотека np и cuBLAS для плотных матричных умножений. Ядра деквантования, int8-умножения матриц, flash attention и сэмплеры автор написал сам. Движок читает форматы GGUF (кванты от Q2_K до Q6_K, IQ-серия и тернарный pq2_0) и EXL3 напрямую, без конвертации и без Python на каждый токен. Главный трюк относится к моделям Mixture-of-Experts (MoE).
Что известно по теме: что показали замеры и где предел?
Замеры сделаны по схеме pp512/tg128: обработка 512 токенов промпта и генерация 128 токенов, три пары чередующихся прогонов. Qwen2.5-Coder-1.5B q2_k: промпт 12 240 против 7 679 токенов/с у llama.cpp, генерация 325,9 против 321,6. Он же в формате iq3_xxs: 12 243 против 10 007, генерация 273,8 против 262,2. Ornith-1.5-35B-A3B в гибридном режиме: промпт 176,3 против 132,2, генерация 53,6 против 17,1. Тернарная Bonsai-27B: 880,6 против 878,5 на промпте и 51,7 против 50,4 на генерации — почти паритет.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.