Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @TeksEdge→ оригинал

Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге

Thinking Machines выпустила открытую модель Inkling 2 Mini, которая запускается на ноутбуке с 16 ГБ памяти и в независимом рейтинге Artificial Analysis сравнялась с Qwen3.8-27B. Она прогоняет 12 средних слоёв из 24 трижды, как редактор, перечитывающий текст: 48 проходов при 24 хранимых слоях. К тому же на каждое слово работает лишь 5,4 из 26,4 млрд параметров. Для локальных ассистентов это шанс обойтись без дорогой видеокарты.

AI-обработка оригинала X: @TeksEdge; редакция Hamidun News
Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
Источник: X: @TeksEdge. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @TeksEdge ↗
Главный редактор
Ключевой факт #1Unsloth уже выложил GGUF-версии для локального запуска
Ключевой факт #2Контекст в 1 млн токенов на 16 ГБ нереалистичен
Ключевой факт #3llama.cpp пока требует сборку с поддержкой зацикленных слоёв

Обычно сильная модель означает много памяти: чем умнее нейросеть, тем больше весов нужно держать в видеокарте или оперативке, и локальный запуск на ноутбуке остаётся мечтой. Американская Thinking Machines выпустила открытую модель Inkling 2 Mini, которая пытается сломать эту привычку. По данным поста обозревателя @TeksEdge, в Artificial Analysis Intelligence Index (это независимый сводный рейтинг, где модели сравнивают по набору тестов) она сравнялась с Qwen3.8-27B, плотной моделью на 27 млрд параметров из линейки Qwen. При этом Inkling 2 Mini запускается на машине с 16 ГБ памяти.

Как 24 слоя превращаются в 48

В Inkling 2 Mini всего 24 слоя трансформера. Но авторы не наращивают их число, а зацикливают середину: 12 средних слоёв модель проходит три раза подряд для каждого токена (токен — это кусочек слова). Выходит 48 исполнений слоёв при 24 реально хранимых.

Бытовая аналогия: вместо трёх редакторов один и тот же редактор трижды перечитывает текст и каждый раз улучшает правку. Вычислений уходит больше, зато «штат», то есть набор весов, остаётся маленьким. Для локального запуска это важно, потому что узкое место обычно память, а не время одного прохода.

Вторая часть экономии — архитектура Mixture of Experts (MoE): модель состоит из множества «экспертов», и на каждый токен включается только часть из них. Всего в Inkling 2 Mini 26,4 млрд параметров, но активны лишь 5,4 млрд. Это примерно в пять раз меньше, чем у плотной Qwen3.8-27B, где работают все 27 млрд. Меньше активных весов означает быстрее генерацию и ниже нагрузку на железо.

Что с цифрами и запуском

В посте у Qwen3.8-27B в Artificial Analysis Intelligence Index v5 указано 20,1, у Inkling 2 Mini приведены 48,2% и 77,9%, причём подписи к этим двум значениям в посте перепутаны. Зато сказано важное: индекс Artificial Analysis оценён независимо, а результаты по программированию взяты из бенчмарков, которые опубликовала сама Thinking Machines. Точные баллы лучше сверить на сайте Artificial Analysis и в карточке модели, а заявления компании о коде проверить на своих задачах.

По практике запуска картина такая:

  • Веса открыты, так что модель можно запускать локально и дообучать.
  • Unsloth уже выпустил GGUF-версии, в том числе с компактной квантизацией для систем на 16 ГБ.
  • Маки с 32 ГБ и больше поддерживаются через Ollama.
  • Thinking Machines показала, как модель полностью офлайн на MacBook Pro собирает играбельный авиасимулятор.

Ограничения

Первое: заявленный контекст в 1 млн токенов на 16 ГБ нереалистичен. Кэш длинного контекста быстро съест память, так что на скромном железе придётся работать с гораздо более короткими окнами.

Второе: llama.cpp пока требует отдельную сборку с поддержкой зацикленных слоёв. Обычный релиз с такой архитектурой не справится, и на первых порах запуск потребует возни с компиляцией или ожидания, пока поддержку добавят в основную ветку.

Третье: сравнение по сводному индексу не гарантирует превосходства на вашей задаче. Агентные сценарии, работа с русским языком и длинные цепочки вызова инструментов могут показать другую картину.

Что с этим делать

Если вы строите локальные ассистенты, офлайн-инструменты для кода или приватные пайплайны, релиз интересен по двум причинам. Во-первых, он показывает рабочую альтернативу простому росту числа параметров: повторное использование слоёв даёт больше «раздумий» без роста весов. Во-вторых, это сильная американская открытая модель на фоне доминирования китайских линеек Qwen и DeepSeek в локальном сегменте.

Практический совет: если у вас ноутбук на 16–32 ГБ, скачайте GGUF от Unsloth, соберите llama.cpp с нужной поддержкой и прогоните модель на своих задачах рядом с Qwen. Решать стоит по собственным тестам скорости, качества кода и стабильности на вашем контексте, а не по рейтингу.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как 24 слоя превращаются в 48?

В Inkling 2 Mini всего 24 слоя трансформера. Но авторы не наращивают их число, а зацикливают середину: 12 средних слоёв модель проходит три раза подряд для каждого токена (токен — это кусочек слова). Выходит 48 исполнений слоёв при 24 реально хранимых. Бытовая аналогия: вместо трёх редакторов один и тот же редактор трижды перечитывает текст и каждый раз улучшает правку. Вычислений уходит больше, зато «штат», то есть набор весов, остаётся маленьким.

Что известно по теме: что с цифрами и запуском?

В посте у Qwen3.8-27B в Artificial Analysis Intelligence Index v5 указано 20,1, у Inkling 2 Mini приведены 48,2% и 77,9%, причём подписи к этим двум значениям в посте перепутаны. Зато сказано важное: индекс Artificial Analysis оценён независимо, а результаты по программированию взяты из бенчмарков, которые опубликовала сама Thinking Machines. Точные баллы лучше сверить на сайте Artificial Analysis и в карточке модели, а заявления компании о коде проверить на своих задачах.

Что известно по теме: ограничения?

Первое: заявленный контекст в 1 млн токенов на 16 ГБ нереалистичен. Кэш длинного контекста быстро съест память, так что на скромном железе придётся работать с гораздо более короткими окнами. Второе: llama.cpp пока требует отдельную сборку с поддержкой зацикленных слоёв. Обычный релиз с такой архитектурой не справится, и на первых порах запуск потребует возни с компиляцией или ожидания, пока поддержку добавят в основную ветку. Третье: сравнение по сводному индексу не гарантирует превосходства на вашей задаче.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…