Модель Inkling 2 Mini на 26 млрд параметров уместила миллион токенов в 16 ГиБ вместо 96
Когда нейросеть читает длинный текст, она хранит заметки по каждому токену (кусочку слова) в KV-кэше, и на миллионе токенов он раздувается до десятков гигабайт. У Inkling 2 Mini на 26 млрд параметров он занимает ~16 ГиБ вместо ~96 в формате fp8. Причина: из 48 проходов по слоям полный кэш держат только 8, остальные смотрят на последние 1024 токена. Для запуска на своём железе это шестикратная экономия памяти.
AI-обработка оригинала X: @cheese_cakee_9; редакция Hamidun News
Представьте, что вы просите модель разобрать целый репозиторий или годовую переписку: это около миллиона токенов (токен — примерно кусочек слова). Чтобы не перечитывать всё заново на каждом шаге, модель хранит служебные заметки по каждому токену. Эта память называется KV-кэшем, и именно она обычно становится потолком для длинного контекста: сами веса помещаются, а кэш на миллион токенов раздувается до десятков гигабайт. Thinking Machines выпустила Inkling 2 Mini на 26 млрд параметров, и, по разбору архитектуры в X, её кэш на полном миллионе токенов занимает около 16 ГиБ (гибибайт, почти то же, что гигабайт) вместо примерно 96 ГиБ, если бы каждый слой хранил всё. Формат хранения — fp8, то есть по 8 бит на число. Ниже — откуда берётся шестикратная разница.
Зачем появилась Mini
Компания пишет, что часть пользователей сочла предыдущую Inkling 2 Small слишком большой: у неё 594 млрд параметров. Ответ — Inkling 2 Mini, looped transformer, то есть трансформер с циклом. Часть его слоёв прогоняется по несколько раз, вместо того чтобы хранить отдельные копии весов. Параметров всего 26 млрд. Компания заявляет, что модель достаточно мала для запуска на ноутбуке и годится для агентных задач: её оценка в индексе Artificial Analysis (AA Index) — 20,1. Как это соотносится с конкурентами, в источнике не сказано, поэтому цифру стоит считать ориентиром, а не доказательством качества.
Откуда берутся 16 ГиБ вместо 96
Арифметика такая. В сети 24 слоя. Двадцать из них работают со скользящим окном в 1024 токена: каждый смотрит только на последние 1024 токена, так что его кэш крошечный и не растёт вместе с контекстом. Остальные четыре слоя — с номерами 5, 11, 17 и 23 (счёт с нуля) — используют полное внимание и помнят весь миллион токенов.
Теперь цикл. Слои 11 и 17 стоят внутри повторяемого блока и выполняются по три раза каждый, а слои 5 и 23 — по одному. Получается 1 + 1 + 3 + 3 = 8 проходов с полным кэшем. Всего проходов по слоям 48, то есть полный кэш нужен лишь в одном из шести.
Для этих восьми проходов при fp8 выходит примерно 16 КиБ на токен (около 2 КиБ на проход). Умножаем на миллион токенов и получаем порядка 16 ГиБ. Если бы все 48 проходов хранили полный кэш, вышло бы около 96 ГиБ. Это разница между «нужен серверный GPU» и «может поместиться в память мощной рабочей станции».
Обратите внимание: цикл экономит параметры, но память под полное внимание он не экономит. В разборе каждый проход через слой считается отдельно, поэтому слои 11 и 17 учитываются трижды. Кэш сокращает именно сочетание: подавляющее большинство слоёв смотрит в узкое окно.
Что с этим делать на практике
Во-первых, планируя локальный запуск, считайте не только веса, но и кэш. Веса 26 млрд параметров при fp8 — порядка 26 ГБ (это наша грубая оценка, компания её не приводила), а кэш на полном миллионе токенов добавит ещё около 16 ГиБ. Поэтому «запустится на ноутбуке» зависит от памяти конкретной машины и от длины реального контекста: на коротких запросах кэш будет заметно меньше.
Во-вторых, схема «редкое полное внимание плюс много локальных слоёв» выглядит рабочим инженерным приёмом для длинных контекстов. Цена вопроса — риск, что дальние связи в тексте модель улавливает хуже, чем сеть с полным вниманием во всех слоях. Независимых проверок качества на миллионе токенов в источнике нет: есть только заявление компании и один балл AA Index.
В-третьих, для продуктовых команд это сигнал: агентные сценарии с длинной историей действий, большими репозиториями и логами постепенно становятся посильными для локальных устройств. Но перед тем как строить продукт на Mini, стоит дождаться независимых тестов на реальных длинных задачах и сравнить её с компактными моделями других лабораторий.
- 22 нояб. 2026 г.Грант Яндекса ушёл на движок для LLM: 35B-модель на RTX 2080 Ti втрое быстрее llama.cpp
- 22 нояб. 2026 г.Русский голосовой ИИ уместили в 21 МБ: tiny-voca-ru работает офлайн на CPU
- 21 нояб. 2026 г.GigaChat — 7-й в мире в слепом рейтинге на русском, но на 78 баллов Elo позади лидера
- 21 нояб. 2026 г.Открытый MiniMind позволяет обучить свою LLM с нуля за $0,42 на RTX 3090
Вопросы и ответы по материалу
Что известно по теме: зачем появилась Mini?
Компания пишет, что часть пользователей сочла предыдущую Inkling 2 Small слишком большой: у неё 594 млрд параметров. Ответ — Inkling 2 Mini, looped transformer, то есть трансформер с циклом. Часть его слоёв прогоняется по несколько раз, вместо того чтобы хранить отдельные копии весов. Параметров всего 26 млрд. Компания заявляет, что модель достаточно мала для запуска на ноутбуке и годится для агентных задач: её оценка в индексе Artificial Analysis (AA Index) — 20,1.
Что известно по теме: откуда берутся 16 ГиБ вместо 96?
Арифметика такая. В сети 24 слоя. Двадцать из них работают со скользящим окном в 1024 токена: каждый смотрит только на последние 1024 токена, так что его кэш крошечный и не растёт вместе с контекстом. Остальные четыре слоя — с номерами 5, 11, 17 и 23 (счёт с нуля) — используют полное внимание и помнят весь миллион токенов. Теперь цикл. Слои 11 и 17 стоят внутри повторяемого блока и выполняются по три раза каждый, а слои 5 и 23 — по одному. Получается 1 + 1 + 3 + 3 = 8 проходов с полным кэшем.
Что известно по теме: что с этим делать на практике?
Во-первых, планируя локальный запуск, считайте не только веса, но и кэш. Веса 26 млрд параметров при fp8 — порядка 26 ГБ (это наша грубая оценка, компания её не приводила), а кэш на полном миллионе токенов добавит ещё около 16 ГиБ. Поэтому «запустится на ноутбуке» зависит от памяти конкретной машины и от длины реального контекста: на коротких запросах кэш будет заметно меньше. Во-вторых, схема «редкое полное внимание плюс много локальных слоёв» выглядит рабочим инженерным приёмом для длинных контекстов.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.