Moonshot выпустила Kimi K3 на 2,8 трлн параметров с контекстом 1 млн токенов

Moonshot AI запустила Kimi K3 — модель на 2,8 трлн параметров с нативным зрением и контекстом в миллион токенов. Компания называет её первой открытой моделью класса 3T. Она доступна в приложении Kimi, десктопном Kimi Work, терминальном Kimi Code и через API. Полные веса Moonshot обещает опубликовать позже, вместе с техническим отчётом. Сами разработчики оговариваются: по общему уровню K3 пока отстаёт от закрытых лидеров, Claude Fable 5 и GPT 5.6 Sol, но, по их данным, стабильно обходит остальные протестированные модели.

Архитектура: 16 экспертов из 896

Фундамент K3 составляют два обновления. Kimi Delta Attention отвечает за эффективное масштабирование внимания по длине последовательности. Attention Residuals выборочно извлекают представления по глубине сети, а не накапливают их равномерно. Поверх этого Moonshot увеличила разреженность Mixture of Experts: на каждый токен включаются 16 из 896 экспертов в рамках фреймворка Stable LatentMoE. При такой разреженности маршрутизация и балансировка превращаются в главную инженерную проблему, и здесь у команды несколько решений: Quantile Balancing строит распределение по квантилям оценок роутера, без эвристических обновлений и чувствительного гиперпараметра, а Per-Head Muon оптимизирует каждую голову внимания независимо.

По оценке Moonshot, всё вместе даёт примерно 2,5-кратный выигрыш в эффективности масштабирования по сравнению с Kimi K2. Обучение с учётом квантизации идёт с этапа SFT: веса в MXFP4, активации в MXFP8. Для инференса компания рекомендует суперузлы от 64 ускорителей. Отдельно она передала в vLLM реализацию префиксного кэша для KDA, которая выйдет вместе с моделью.

Что показала Moonshot

Основной акцент сделан на длинных агентных задачах. Все цифры ниже приведены самой компанией, независимой проверки пока нет.

• Оптимизация GPU-ядер: четыре задачи, до 24 часов на модель, Hopper и GPGPU стороннего вендора. K3 сопоставима с Fable 5 (с фолбэком) и заметно опережает Opus 4.8, GPT 5.6 Sol и GPT 5.5.
• MiniTriton: компилятор в духе Triton с собственным tile-level IR поверх MLIR и генерацией PTX. На поддерживаемых roofline-тестах он не хуже Triton и torch.compile, а местами быстрее. Обучение nanoGPT на нём сходится стабильно.
• Чип: за один 48-часовой автономный прогон модель спроектировала ускоритель для нано-модели на собственной архитектуре. 4 мм², 100 МГц, 1,46 млн стандартных ячеек, более 8 700 токенов/с в симуляции.
• Наука: воспроизведение универсальных соотношений I–Love–Q в астрофизике за около двух часов вместо одной-двух недель работы исследователя. 20+ статей, 300+ уравнений состояния, более 3 000 строк на Python.
• Монтаж: модель сама собрала тизер из 56 клипов, включая синхронизацию по битам.

Оговорки в самом блоге важны. Fable 5 тестировала третья сторона, и результаты могли включать фолбэк. В SWE Marathon он сработал на 35% задач, что могло занизить оценку. Для SWE Marathon Moonshot использовала собственную ветку задач, перекалиброванную под H20. Сравнение с конкурентами на таких условиях стоит читать осторожно.

Цена и доступ

K3 работает в Kimi.ai, Kimi Work 3.1.0 и новее (Windows и Mac на Apple silicon), в Kimi Code через команду /model и в API под именем kimi-k3. Тарифы: $0,30 за миллион входных токенов при попадании в кэш, $3,00 без кэша, $15,00 за миллион выходных. Moonshot утверждает, что на архитектуре Mooncake доля попаданий в кэш в кодинговых сценариях превышает 90%. Для длинных агентных сессий именно это определяет итоговый счёт. На старте по умолчанию включён максимальный режим рассуждений, низкий и высокий появятся позже. Корпоративным командам предлагается Kimi Enterprise с разделением личных и организационных аккаунтов.

Практический вывод для разработчиков: если вы гоняете длинные кодинговые сессии, имеет смысл сравнить K3 со своей текущей моделью на реальных репозиториях и посчитать стоимость с учётом кэша. Тем, кто хочет самостоятельно развернуть модель, придётся дождаться весов и учесть требования к инфраструктуре: от 64 ускорителей для комфортного инференса.