Thinking Machines выпустила Inkling 2 Small: 594 млрд параметров, но активны лишь 17 млрд

Если вы когда-нибудь пытались выбрать модель для агентов, то знаете дилемму: умные модели дорогие и закрытые, открытые дешёвые, но слабее на длинных многошаговых задачах. Thinking Machines Миры Мурати предлагает свой вариант ответа: Inkling 2 Small, мультимодальная модель, веса которой обещают открыть под лицензией Apache 2.0 на следующей неделе.

Что внутри

Inkling 2 Small построена на разреженной архитектуре Mixture-of-Experts. Проще всего представить это как большую поликлинику: врачей (экспертов) там 384, но на каждого пациента (токен) приглашают только восьмерых подходящих. В модели 48 декодерных слоёв, а общий объём составляет 594 млрд параметров. При генерации активны лишь 17 млрд.

Что это значит на практике: скорость и стоимость каждого токена ближе к модели класса 17B, а «знаний» в весах заметно больше. Но есть нюанс, о котором часто забывают. Хранить в памяти всё равно придётся все 594 млрд параметров. Даже в 8-битном виде это сотни гигабайт, так что на одной игровой видеокарте модель не запустить. Это история для серверов или мультигпу-кластеров.

Дополнительно заявлены визуальный вход, управляемая глубина рассуждений и окно контекста до 1 млн токенов. Глубина рассуждений означает, что можно сознательно выбирать, сколько модель «думает»: для простых запросов меньше, для сложных больше. Это прямой рычаг управления счётом за инференс.

Упор на агентов

Авторы позиционируют модель для многошаговых агентных сценариев. Заявлены три способности. Во-первых, она может визуально проверять собственный результат: например, сгенерировала интерфейс, посмотрела на скриншот и поправила вёрстку. Во-вторых, адаптируется к разным агентным оболочкам (harnesses), то есть не требует идеально подогнанного под неё промпта и набора инструментов. В-третьих, умеет оркестрировать пайплайны собственного дообучения.

Последний пункт звучит громко, но проверять его стоит самостоятельно. Это заявление разработчиков, независимых подтверждений в анонсе нет.

Цифры такие. В Artificial Analysis Intelligence Index модель получила 31 балл. Это скромный результат на фоне тяжёлых закрытых флагманов, и честно сказать, что по общему интеллекту это не лидер. Зато в DesignArena, рейтинге генерации фронтенда и интерфейсов, модель занимает третье место в мире, уступая только проприетарным тяжеловесам. Для команд, которые делают UI-агентов и генераторы интерфейсов, именно этот показатель интереснее общего индекса.

Что с этим делать

Сейчас Inkling 2 Small доступна для инференса и файнтюнинга на платформе Tinker, это собственный сервис Thinking Machines. Полные веса выйдут на следующей неделе, и тогда можно будет развернуть модель у себя или дообучить под свои данные без оглядки на условия API: Apache 2.0 разрешает коммерческое использование.

Практические выводы такие:

• Если вы строите агентов для фронтенда или дизайна, добавьте модель в свой бенчмарк сразу после релиза весов и сравните на своих задачах, а не на публичных рейтингах.
• Если у вас нет кластера, считайте стоимость хостинга заранее. Активные 17 млрд экономят вычисления, но не память.
• Если нужен кастомный агент под узкую область, возможность файнтюнинга с открытой лицензией делает модель сильным кандидатом, особенно если провайдеры инференса быстро поднимут её у себя.

Ограничения

Пока всё опирается на анонс самой лаборатории. Независимых замеров скорости, стоимости и поведения на длинном контексте нет, а 31 балл в индексе говорит, что ждать чудес в общем рассуждении не стоит. Кроме того, веса пока не опубликованы, поэтому обещание Apache 2.0 стоит считать выполненным только после появления файлов.

Тем не менее сам факт важен: одна из самых заметных лабораторий отрасли выходит на рынок открытых моделей с крупной мультимодальной MoE и дружелюбной лицензией. Для рынка открытых агентных моделей это ещё один серьёзный игрок, а значит, больше выбора и давление на цены.