Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуHabr AI→ оригинал

Грант Яндекса ушёл на движок для LLM: 35B-модель на RTX 2080 Ti втрое быстрее llama.cpp

Автор потратил грант Яндекса в 600 000 рублей на TinyCoder — движок для запуска нейросетей дома, написанный с нуля на C++ и CUDA. Модель Ornith-1.5-35B-A3B весит 34,4 ГБ, а в старой RTX 2080 Ti всего 11 ГБ, поэтому часть модели подгружается по ходу работы. Всё равно она выдаёт 53,6 токена в секунду против 17,1 у llama.cpp, то есть втрое быстрее. На крупных плотных моделях отрыв почти исчезает, так что проверяйте на своей задаче.

AI-обработка оригинала Habr AI; редакция Hamidun News
Грант Яндекса ушёл на движок для LLM: 35B-модель на RTX 2080 Ti втрое быстрее llama.cpp
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Qwen2.5-Coder-1.5B читает промпт со скоростью 12 240 токенов/с против 7 679
Ключевой факт #2На 11 ГБ помещается контекст 196 352 токена для 9B-модели, 64 256 для 27B
Ключевой факт #3Go-шлюз понимает OpenAI и Anthropic API, так что подходит к OpenCode и Cline

Запускать большие нейросети дома мешает не мощность видеокарты, а её память: у большинства разработчиков стоит карта на 8–12 ГБ, а интересные модели весят десятки гигабайт. Российский разработчик получил от Яндекса грант в 600 000 рублей и потратил его на TinyCoder — движок для локальных моделей, написанный с нуля на C++ и CUDA. Результат в одной цифре: модель Ornith-1.5-35B-A3B размером 34,4 ГБ идёт на RTX 2080 Ti с 11 ГБ памяти и генерирует 53,6 токена в секунду. Токен — это примерно слово или его часть, так что речь о скорости печати ответа. Популярный движок llama.cpp в том же сценарии даёт 17,1 токена в секунду, то есть втрое меньше.

Откуда деньги и зачем движок

В начале 2026 года Яндекс запустил гранты для open-source проектов на платформе SourceCraft. Автор подал библиотеку np — C++-аналог NumPy с поддержкой CUDA и ручными SIMD-оптимизациями (AVX2, AVX-512, AMX). По его замерам, она быстрее оригинала в 2–20 раз и расходует в полтора раза меньше памяти. Проект попал в список победителей, и на счёт пришло 600 000 рублей.

Дальше встал вопрос, на что их тратить. Переписывать весь NumPy смысла не было: задачу ускорения автор уже решил. Он выбрал локальный ИИ-агент для кодинга, а затем сосредоточился на движке под ним. Облачную виртуалку с GPU автор счёл слишком дорогой и работал на домашнем ПК: Intel i7-4790K, 32 ГБ DDR3 и RTX 2080 Ti на 11 ГБ.

Код движка в основном писали нейросети. Сначала автор использовал DeepSeek V4, потом DeepSeek V4.1 Flash: по его словам, они стоили дешевле и давали код лучше, чем gpt-oss-120b или Qwen3-235B. Когда 11 октября 2026 года SourceCraft лёг после инцидента в дата-центре Яндекса, на грантовом счёте оставалось около 200 000 рублей. Облачные модели Яндекса стали недоступны, и пришлось перейти на внешнего провайдера DeepSeek. Для проекта про локального агента это хороший аргумент: он не должен зависеть от чужих сервисов.

Как модель на 34 ГБ влезает в 11 ГБ

tinycoder-inference — не обёртка над ggml или PyTorch. Из внешнего кода в нём только библиотека np и cuBLAS для плотных матричных умножений. Ядра деквантования, int8-умножения матриц, flash attention и сэмплеры автор написал сам. Движок читает форматы GGUF (кванты от Q2_K до Q6_K, IQ-серия и тернарный pq2_0) и EXL3 напрямую, без конвертации и без Python на каждый токен.

Главный трюк относится к моделям Mixture-of-Experts (MoE). Такая модель состоит из множества «экспертов», но на каждый токен работает лишь малая их часть. Поэтому плотная часть остаётся в видеопамяти, а эксперты потоком подгружаются через слой-арену. Представьте библиотеку с маленьким читальным залом: на столе лежат нужные книги, остальное приносят из хранилища по запросу.

Планировщик контекста тоже работает по факту: перед загрузкой он измеряет свободную VRAM и RAM и сам выбирает точность KV-кэша. На RTX 2080 Ti это даёт до 196 352 токенов контекста для 9B-модели и до 64 256 для 27B.

Что показали замеры и где предел

Замеры сделаны по схеме pp512/tg128: обработка 512 токенов промпта и генерация 128 токенов, три пары чередующихся прогонов.

  • Qwen2.5-Coder-1.5B q2_k: промпт 12 240 против 7 679 токенов/с у llama.cpp, генерация 325,9 против 321,6.
  • Он же в формате iq3_xxs: 12 243 против 10 007, генерация 273,8 против 262,2.
  • Ornith-1.5-35B-A3B в гибридном режиме: промпт 176,3 против 132,2, генерация 53,6 против 17,1.
  • Тернарная Bonsai-27B: 880,6 против 878,5 на промпте и 51,7 против 50,4 на генерации — почти паритет.
  • Qwen3.8-27B в EXL3 против exllamav3: на промпте 727,5 против 719,5, а на генерации чуть медленнее — 23,60 против 23,76.

Цифры стоит читать трезво. Это замеры одного автора на одной карте поколения Turing. Ampere (RTX 3090) пока в отладке, а новые карты работают через совместимый PTX JIT или базовый SASS. Заметный выигрыш виден на лёгких квантах и на выгрузке MoE, а на крупных плотных моделях движок примерно сравнялся с конкурентами.

Шлюз и планы

Чтобы движок работал с любым агентом, автор написал на Go шлюз tinycoder-openai. Он поддерживает /v1/chat/completions, /v1/responses и Anthropic Messages API, а также tool_calls и SSE-стриминг. Модели загружаются по первому запросу и выгружаются из VRAM по таймауту, а генерацию можно прервать прямо внутри цикла по слоям. Исполняемый файл весит 9 МБ, нативная библиотека — 145 МБ. В ближайших планах — спекулятивное декодирование и ядра под современные видеокарты.

Практический вывод: если вы гоняете локальные модели на потребительской карте, особенно большую MoE-модель в малом VRAM, стоит прогнать свой сценарий на TinyCoder и сравнить с llama.cpp. Проект молодой, но результаты на старом железе показывают, что там ещё есть резерв скорости.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: откуда деньги и зачем движок?

В начале 2026 года Яндекс запустил гранты для open-source проектов на платформе SourceCraft. Автор подал библиотеку np — C++-аналог NumPy с поддержкой CUDA и ручными SIMD-оптимизациями (AVX2, AVX-512, AMX). По его замерам, она быстрее оригинала в 2–20 раз и расходует в полтора раза меньше памяти. Проект попал в список победителей, и на счёт пришло 600 000 рублей. Дальше встал вопрос, на что их тратить. Переписывать весь NumPy смысла не было: задачу ускорения автор уже решил.

Что известно по теме: как модель на 34 ГБ влезает в 11 ГБ?

tinycoder-inference — не обёртка над ggml или PyTorch. Из внешнего кода в нём только библиотека np и cuBLAS для плотных матричных умножений. Ядра деквантования, int8-умножения матриц, flash attention и сэмплеры автор написал сам. Движок читает форматы GGUF (кванты от Q2_K до Q6_K, IQ-серия и тернарный pq2_0) и EXL3 напрямую, без конвертации и без Python на каждый токен. Главный трюк относится к моделям Mixture-of-Experts (MoE).

Что известно по теме: что показали замеры и где предел?

Замеры сделаны по схеме pp512/tg128: обработка 512 токенов промпта и генерация 128 токенов, три пары чередующихся прогонов. Qwen2.5-Coder-1.5B q2_k: промпт 12 240 против 7 679 токенов/с у llama.cpp, генерация 325,9 против 321,6. Он же в формате iq3_xxs: 12 243 против 10 007, генерация 273,8 против 262,2. Ornith-1.5-35B-A3B в гибридном режиме: промпт 176,3 против 132,2, генерация 53,6 против 17,1. Тернарная Bonsai-27B: 880,6 против 878,5 на промпте и 51,7 против 50,4 на генерации — почти паритет.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…