Поток 3 · Старт 23.11Живой Поток 3 интенсива «Вайбкодинг и ИИ-агенты» (23 ноября, 18:30 МСК): 3 недели практики, 9 живых встречПоток 3 (23.11) →
РелизAPI / Продукт · В работуX: @cheese_cakee_9→ оригинал

Модель Inkling 2 Mini на 26 млрд параметров уместила миллион токенов в 16 ГиБ вместо 96

Когда нейросеть читает длинный текст, она хранит заметки по каждому токену (кусочку слова) в KV-кэше, и на миллионе токенов он раздувается до десятков гигабайт. У Inkling 2 Mini на 26 млрд параметров он занимает ~16 ГиБ вместо ~96 в формате fp8. Причина: из 48 проходов по слоям полный кэш держат только 8, остальные смотрят на последние 1024 токена. Для запуска на своём железе это шестикратная экономия памяти.

AI-обработка оригинала X: @cheese_cakee_9; редакция Hamidun News
Модель Inkling 2 Mini на 26 млрд параметров уместила миллион токенов в 16 ГиБ вместо 96
Источник: X: @cheese_cakee_9. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @cheese_cakee_9 ↗
Главный редактор
Ключевой факт #1Полное внимание лишь в 4 из 24 слоёв; слои 11 и 17 идут в цикле по 3 раза
Ключевой факт #2Остальные 20 слоёв смотрят только на окно в 1024 токена
Ключевой факт #3Оценка 20,1 в индексе AA Index; у Inkling 2 Small — 594 млрд параметров

Представьте, что вы просите модель разобрать целый репозиторий или годовую переписку: это около миллиона токенов (токен — примерно кусочек слова). Чтобы не перечитывать всё заново на каждом шаге, модель хранит служебные заметки по каждому токену. Эта память называется KV-кэшем, и именно она обычно становится потолком для длинного контекста: сами веса помещаются, а кэш на миллион токенов раздувается до десятков гигабайт. Thinking Machines выпустила Inkling 2 Mini на 26 млрд параметров, и, по разбору архитектуры в X, её кэш на полном миллионе токенов занимает около 16 ГиБ (гибибайт, почти то же, что гигабайт) вместо примерно 96 ГиБ, если бы каждый слой хранил всё. Формат хранения — fp8, то есть по 8 бит на число. Ниже — откуда берётся шестикратная разница.

Зачем появилась Mini

Компания пишет, что часть пользователей сочла предыдущую Inkling 2 Small слишком большой: у неё 594 млрд параметров. Ответ — Inkling 2 Mini, looped transformer, то есть трансформер с циклом. Часть его слоёв прогоняется по несколько раз, вместо того чтобы хранить отдельные копии весов. Параметров всего 26 млрд. Компания заявляет, что модель достаточно мала для запуска на ноутбуке и годится для агентных задач: её оценка в индексе Artificial Analysis (AA Index) — 20,1. Как это соотносится с конкурентами, в источнике не сказано, поэтому цифру стоит считать ориентиром, а не доказательством качества.

Откуда берутся 16 ГиБ вместо 96

Арифметика такая. В сети 24 слоя. Двадцать из них работают со скользящим окном в 1024 токена: каждый смотрит только на последние 1024 токена, так что его кэш крошечный и не растёт вместе с контекстом. Остальные четыре слоя — с номерами 5, 11, 17 и 23 (счёт с нуля) — используют полное внимание и помнят весь миллион токенов.

Теперь цикл. Слои 11 и 17 стоят внутри повторяемого блока и выполняются по три раза каждый, а слои 5 и 23 — по одному. Получается 1 + 1 + 3 + 3 = 8 проходов с полным кэшем. Всего проходов по слоям 48, то есть полный кэш нужен лишь в одном из шести.

Для этих восьми проходов при fp8 выходит примерно 16 КиБ на токен (около 2 КиБ на проход). Умножаем на миллион токенов и получаем порядка 16 ГиБ. Если бы все 48 проходов хранили полный кэш, вышло бы около 96 ГиБ. Это разница между «нужен серверный GPU» и «может поместиться в память мощной рабочей станции».

Обратите внимание: цикл экономит параметры, но память под полное внимание он не экономит. В разборе каждый проход через слой считается отдельно, поэтому слои 11 и 17 учитываются трижды. Кэш сокращает именно сочетание: подавляющее большинство слоёв смотрит в узкое окно.

Что с этим делать на практике

Во-первых, планируя локальный запуск, считайте не только веса, но и кэш. Веса 26 млрд параметров при fp8 — порядка 26 ГБ (это наша грубая оценка, компания её не приводила), а кэш на полном миллионе токенов добавит ещё около 16 ГиБ. Поэтому «запустится на ноутбуке» зависит от памяти конкретной машины и от длины реального контекста: на коротких запросах кэш будет заметно меньше.

Во-вторых, схема «редкое полное внимание плюс много локальных слоёв» выглядит рабочим инженерным приёмом для длинных контекстов. Цена вопроса — риск, что дальние связи в тексте модель улавливает хуже, чем сеть с полным вниманием во всех слоях. Независимых проверок качества на миллионе токенов в источнике нет: есть только заявление компании и один балл AA Index.

В-третьих, для продуктовых команд это сигнал: агентные сценарии с длинной историей действий, большими репозиториями и логами постепенно становятся посильными для локальных устройств. Но перед тем как строить продукт на Mini, стоит дождаться независимых тестов на реальных длинных задачах и сравнить её с компактными моделями других лабораторий.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем появилась Mini?

Компания пишет, что часть пользователей сочла предыдущую Inkling 2 Small слишком большой: у неё 594 млрд параметров. Ответ — Inkling 2 Mini, looped transformer, то есть трансформер с циклом. Часть его слоёв прогоняется по несколько раз, вместо того чтобы хранить отдельные копии весов. Параметров всего 26 млрд. Компания заявляет, что модель достаточно мала для запуска на ноутбуке и годится для агентных задач: её оценка в индексе Artificial Analysis (AA Index) — 20,1.

Что известно по теме: откуда берутся 16 ГиБ вместо 96?

Арифметика такая. В сети 24 слоя. Двадцать из них работают со скользящим окном в 1024 токена: каждый смотрит только на последние 1024 токена, так что его кэш крошечный и не растёт вместе с контекстом. Остальные четыре слоя — с номерами 5, 11, 17 и 23 (счёт с нуля) — используют полное внимание и помнят весь миллион токенов. Теперь цикл. Слои 11 и 17 стоят внутри повторяемого блока и выполняются по три раза каждый, а слои 5 и 23 — по одному. Получается 1 + 1 + 3 + 3 = 8 проходов с полным кэшем.

Что известно по теме: что с этим делать на практике?

Во-первых, планируя локальный запуск, считайте не только веса, но и кэш. Веса 26 млрд параметров при fp8 — порядка 26 ГБ (это наша грубая оценка, компания её не приводила), а кэш на полном миллионе токенов добавит ещё около 16 ГиБ. Поэтому «запустится на ноутбуке» зависит от памяти конкретной машины и от длины реального контекста: на коротких запросах кэш будет заметно меньше. Во-вторых, схема «редкое полное внимание плюс много локальных слоёв» выглядит рабочим инженерным приёмом для длинных контекстов.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…