Открытая Inkling 2 Mini на 16 ГБ памяти догнала Qwen3.8-27B в независимом рейтинге
Thinking Machines выпустила открытую модель Inkling 2 Mini, которая запускается на ноутбуке с 16 ГБ памяти и в независимом рейтинге Artificial Analysis сравнялась с Qwen3.8-27B. Она прогоняет 12 средних слоёв из 24 трижды, как редактор, перечитывающий текст: 48 проходов при 24 хранимых слоях. К тому же на каждое слово работает лишь 5,4 из 26,4 млрд параметров. Для локальных ассистентов это шанс обойтись без дорогой видеокарты.
AI-обработка оригинала X: @TeksEdge; редакция Hamidun News
Обычно сильная модель означает много памяти: чем умнее нейросеть, тем больше весов нужно держать в видеокарте или оперативке, и локальный запуск на ноутбуке остаётся мечтой. Американская Thinking Machines выпустила открытую модель Inkling 2 Mini, которая пытается сломать эту привычку. По данным поста обозревателя @TeksEdge, в Artificial Analysis Intelligence Index (это независимый сводный рейтинг, где модели сравнивают по набору тестов) она сравнялась с Qwen3.8-27B, плотной моделью на 27 млрд параметров из линейки Qwen. При этом Inkling 2 Mini запускается на машине с 16 ГБ памяти.
Как 24 слоя превращаются в 48
В Inkling 2 Mini всего 24 слоя трансформера. Но авторы не наращивают их число, а зацикливают середину: 12 средних слоёв модель проходит три раза подряд для каждого токена (токен — это кусочек слова). Выходит 48 исполнений слоёв при 24 реально хранимых.
Бытовая аналогия: вместо трёх редакторов один и тот же редактор трижды перечитывает текст и каждый раз улучшает правку. Вычислений уходит больше, зато «штат», то есть набор весов, остаётся маленьким. Для локального запуска это важно, потому что узкое место обычно память, а не время одного прохода.
Вторая часть экономии — архитектура Mixture of Experts (MoE): модель состоит из множества «экспертов», и на каждый токен включается только часть из них. Всего в Inkling 2 Mini 26,4 млрд параметров, но активны лишь 5,4 млрд. Это примерно в пять раз меньше, чем у плотной Qwen3.8-27B, где работают все 27 млрд. Меньше активных весов означает быстрее генерацию и ниже нагрузку на железо.
Что с цифрами и запуском
В посте у Qwen3.8-27B в Artificial Analysis Intelligence Index v5 указано 20,1, у Inkling 2 Mini приведены 48,2% и 77,9%, причём подписи к этим двум значениям в посте перепутаны. Зато сказано важное: индекс Artificial Analysis оценён независимо, а результаты по программированию взяты из бенчмарков, которые опубликовала сама Thinking Machines. Точные баллы лучше сверить на сайте Artificial Analysis и в карточке модели, а заявления компании о коде проверить на своих задачах.
По практике запуска картина такая:
- Веса открыты, так что модель можно запускать локально и дообучать.
- Unsloth уже выпустил GGUF-версии, в том числе с компактной квантизацией для систем на 16 ГБ.
- Маки с 32 ГБ и больше поддерживаются через Ollama.
- Thinking Machines показала, как модель полностью офлайн на MacBook Pro собирает играбельный авиасимулятор.
Ограничения
Первое: заявленный контекст в 1 млн токенов на 16 ГБ нереалистичен. Кэш длинного контекста быстро съест память, так что на скромном железе придётся работать с гораздо более короткими окнами.
Второе: llama.cpp пока требует отдельную сборку с поддержкой зацикленных слоёв. Обычный релиз с такой архитектурой не справится, и на первых порах запуск потребует возни с компиляцией или ожидания, пока поддержку добавят в основную ветку.
Третье: сравнение по сводному индексу не гарантирует превосходства на вашей задаче. Агентные сценарии, работа с русским языком и длинные цепочки вызова инструментов могут показать другую картину.
Что с этим делать
Если вы строите локальные ассистенты, офлайн-инструменты для кода или приватные пайплайны, релиз интересен по двум причинам. Во-первых, он показывает рабочую альтернативу простому росту числа параметров: повторное использование слоёв даёт больше «раздумий» без роста весов. Во-вторых, это сильная американская открытая модель на фоне доминирования китайских линеек Qwen и DeepSeek в локальном сегменте.
Практический совет: если у вас ноутбук на 16–32 ГБ, скачайте GGUF от Unsloth, соберите llama.cpp с нужной поддержкой и прогоните модель на своих задачах рядом с Qwen. Решать стоит по собственным тестам скорости, качества кода и стабильности на вашем контексте, а не по рейтингу.
- 21 нояб. 2026 г.Программист перестал быть диспетчером ИИ-агентов: рутину передач взял Multica
- 21 нояб. 2026 г.MLCommons начал мерить ИИ-API под реальной нагрузкой: 7 замеров для агентов
- 21 нояб. 2026 г.Через OpenRouter три дня отвечала взломанная DeepSeek: отказы упали с 83–98% до 1%
- 21 нояб. 2026 г.Алиса, ChatGPT и Perplexity ссылаются лишь на 34 из 309 площадок для статей
Вопросы и ответы по материалу
Что известно по теме: как 24 слоя превращаются в 48?
В Inkling 2 Mini всего 24 слоя трансформера. Но авторы не наращивают их число, а зацикливают середину: 12 средних слоёв модель проходит три раза подряд для каждого токена (токен — это кусочек слова). Выходит 48 исполнений слоёв при 24 реально хранимых. Бытовая аналогия: вместо трёх редакторов один и тот же редактор трижды перечитывает текст и каждый раз улучшает правку. Вычислений уходит больше, зато «штат», то есть набор весов, остаётся маленьким.
Что известно по теме: что с цифрами и запуском?
В посте у Qwen3.8-27B в Artificial Analysis Intelligence Index v5 указано 20,1, у Inkling 2 Mini приведены 48,2% и 77,9%, причём подписи к этим двум значениям в посте перепутаны. Зато сказано важное: индекс Artificial Analysis оценён независимо, а результаты по программированию взяты из бенчмарков, которые опубликовала сама Thinking Machines. Точные баллы лучше сверить на сайте Artificial Analysis и в карточке модели, а заявления компании о коде проверить на своих задачах.
Что известно по теме: ограничения?
Первое: заявленный контекст в 1 млн токенов на 16 ГБ нереалистичен. Кэш длинного контекста быстро съест память, так что на скромном железе придётся работать с гораздо более короткими окнами. Второе: llama.cpp пока требует отдельную сборку с поддержкой зацикленных слоёв. Обычный релиз с такой архитектурой не справится, и на первых порах запуск потребует возни с компиляцией или ожидания, пока поддержку добавят в основную ветку. Третье: сравнение по сводному индексу не гарантирует превосходства на вашей задаче.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.