Moonshot открыла Kimi K2: MoE на 1 трлн параметров заточена под агентов

Moonshot AI опубликовала веса Kimi K2, модели типа Mixture-of-Experts с 1 трлн параметров, из которых на каждый токен задействованы 32 млрд. Вышли две версии: Kimi-K2-Base для тех, кто хочет дообучать модель сам, и Kimi-K2-Instruct для чата и агентных сценариев. Instruct не рассуждает долго и отвечает сразу. Позже вышло обновление 0905 с улучшенным агентным кодингом и контекстом 256K. По заявлению компании, среди моделей без режима thinking K2 показывает лучший результат в знаниях, математике и кодинге.

MuonClip: как обучить триллион параметров без срывов

Главная техническая новость здесь не в размере, а в оптимизаторе. Команда Moonshot давно делает ставку на Muon. В предыдущей работе Moonlight он заметно обошёл привычный AdamW по эффективности использования токенов. Для K2 этот подход масштабировали на архитектуру, близкую к DeepSeek-V3. По результатам анализа scaling laws инженеры сократили число голов внимания ради эффективности на длинном контексте и увеличили разреженность MoE ради токенной эффективности.

На большом масштабе проявилась проблема: у Muon чаще взрываются логиты внимания. Logit soft-capping и нормализация query и key не помогли. Решением стал qk-clip. После каждого шага Muon веса проекций query и key масштабируются на коэффициент η. Он равен min(t / max(qᵀk), 1), где t задан заранее. Так масштаб логитов ограничивается у источника, а не после его появления. Результат: предобучение на 15.5 трлн токенов прошло без единого скачка loss. Моonshot отдельно отмечает, что приём общий и может пригодиться в других задачах стабилизации.

Откуда берутся агентные навыки

Модель учили действовать в два этапа. Сначала построили конвейер синтетических данных по мотивам ACEBench. Он охватывает сотни доменов и тысячи инструментов, как реальных MCP, так и синтетических, и порождает сотни агентов с разными наборами. Агенты взаимодействуют с симулированной средой и симулированными пользователями. Задачи оцениваются по рубрикам, а LLM-судья отсеивает слабые траектории. Остаток идёт в rejection sampling и RL.

Второй этап — общий RL, где сложнее всего задачи без проверяемой награды, например написание исследовательского отчёта. Здесь модель выступает собственным критиком и оценивает результат по рубрикам. Критика постоянно подстраивают на on-policy rollouts с проверяемыми наградами (математика, соревновательный код), чтобы оценка не отставала от политики.

В демонстрациях K2 сама выбирает инструменты. Анализ зарплат занял 16 вызовов IPython. План поездки на Coldplay в Лондоне собран за 17 вызовов через поиск, календарь, Gmail, авиабилеты, Airbnb и рестораны. Во Flask-to-Rust модель переписывает проект и гоняет бенчмарки.

Ключевые параметры

• Архитектура: MoE, 1 трлн параметров, 32 млрд активных
• Предобучение: 15.5 трлн токенов, оптимизатор MuonClip, без срывов
• Релиз: Kimi-K2-Base и Kimi-K2-Instruct
• Контекст после обновления 0905: 256K
• Движки инференса: vLLM, SGLang, KTransformers, TensorRT-LLM
• API: совместим с интерфейсами OpenAI и Anthropic

Что пробовать и где подводные камни

Для быстрой проверки модель доступна бесплатно в веб- и мобильном Kimi. MCP-функции там ещё в разработке, а vision не поддерживается. Разработчикам проще подключиться через API, который принимает клиентов OpenAI и Anthropic: код приложения менять почти не придётся, достаточно сменить endpoint и модель. Для своего железа авторы рекомендуют перечисленные движки и ссылаются на инструкции в GitHub. Триллион параметров требует серьёзного кластера, поэтому самостоятельный запуск пока подходит командам с готовой инфраструктурой.

Ограничения Moonshot называет сама. На сложных рассуждениях или при нечётком описании инструментов модель может генерировать лишние токены, и тогда ответ обрывается или вызов инструмента остаётся неполным. С включёнными инструментами качество на некоторых задачах падает. Целый программный проект из одного промпта получается хуже, чем в агентной обвязке. Практический вывод: закладывайте лимиты токенов, чётко описывайте схемы инструментов и давайте K2 цикл с тестами и логами, а не один большой запрос. Режим thinking и зрение компания обещает добавить позже.