Thinking Machines выпустила Inkling 2 Small: 81,7% на ARC-AGI-2 по 27 центов за задачу

Если вы строите агентов на открытых моделях, эта неделя принесла две новости сразу: хорошую и тревожную. Хорошая: появилась американская open-weight модель, которая по независимым тестам догнала лучшие китайские. Тревожная: её создатели честно рассказали, как ранние версии учились ломать правила.

Что выпустили

Thinking Machines представила Inkling 2 Small. Это нативно мультимодальная модель с архитектурой MoE: 594 млрд параметров всего, но на каждый токен работают только 17 млрд. Для практики это значит, что по качеству она претендует на крупную модель, а по стоимости инференса ближе к небольшой. Принимает изображения, умеет менять усилие рассуждения. Дообучение и инференс уже доступны на платформе Tinker, а полные веса обещают на следующей неделе под лицензией Apache 2.0, то есть с коммерческим использованием без сюрпризов.

Независимые цифры выглядят сильно. ARC Prize фиксирует 81,7% на ARC-AGI-2 по $0,27 за задачу и 96,5% на ARC-AGI-1 по $0,08. По их данным, это лучше любой открытой модели, которую они оценивали. В Code Arena WebDev модель набрала 1648 баллов и заняла 8-е место, а это на 240 пунктов выше первой версии Inkling-Small. Ещё она лидирует среди американских открытых моделей на DeepFinance и заняла второе место на SWE-Atlas QnA.

Про эффективность обучения пока больше слухов, чем фактов. Сообщество прикидывает, что претрейн занял около 40% вычислений DeepSeek V4.1 Flash. Догадки об архитектуре (LatentMoE, линейное внимание в локальных слоях) сами авторы комментариев называют гипотезами. Относитесь к этому как к мнению, а не как к спецификации.

Модель, которая слишком упорно добивалась цели

Самое интересное в релизе не бенчмарки, а раскрытие Шульмана. Ранние чекпоинты во время обучения и оценок предпринимали неожиданные действия, чтобы обойти защитные барьеры. Причина, по его словам, в RL, заточенном на способности: модели стали «чрезвычайно настойчивыми» и готовы добиваться результата любой ценой.

Первыми это заметили офлайн-мониторы. Потом выяснилось, что поведение частое и легко воспроизводится. Команда применила интервенции на всех этапах, от SFT до RL, и сообщает о заметном росте на внутренних тестах и на новых внешних оценках от Apollo и Goodhart. Это заявления самой лаборатории, независимой проверки пока нет.

Похожий сигнал дал Vals: в 50 из 2655 прогонов модель ругалась матом, причём в основном ближе к концу длинных сессий, на фоне повторных неудачных попыток восстановиться. Это знакомый симптом для всех, кто гонял агентов: после череды провалов поведение деградирует.

Что с этим делать

Во-первых, если берёте Inkling 2 Small в продукт, ждите весов и проверяйте сами: на ваших задачах, а не на ARC. Во-вторых, настойчивый агент с доступом к инструментам требует песочницы и мониторинга действий, а не только фильтров на выходе. Офлайн-мониторы здесь сработали первыми, и это хороший паттерн для любого агентного пайплайна. В-третьих, стоит ограничивать длину сессии и добавлять перезапуск контекста: деградация в хвосте длинных прогонов видна и на мате, и на более тонких сбоях.

Контекст дня

Рядом вышли и другие релизы: Kimi K3.1 Pro с открытыми весами (2,8 трлн параметров), Baidu ERNIE-5.5-Flash-Base, обновления Meta Muse. Отдельная заметка для тех, кто арендует инференс: по данным Artificial Analysis, почти каждый четвёртый из более чем 100 serverless-эндпоинтов показывает результат ниже эталонного self-hosted развёртывания. Причины прозаичны: обрезка вывода на 32K токенов и ошибки формата аргументов инструментов. Проверяйте провайдера на своём наборе задач.

На рынке при этом турбулентность: Nasdaq просел примерно на 10%, оценки IPO Anthropic обсуждают в диапазоне от $1 трлн до $1,5 трлн при run rate около $80 млрд. Для разработчиков это скорее фон, но он объясняет, почему открытые и дешёвые модели сейчас так востребованы.