Kimi K3.1 Pro выложили в открытый доступ: 2,8 трлн параметров, 104 млрд активных

Иногда самые важные новости приходят в виде одной строки в X. Пост @braincramps набрал всего 13 просмотров, зато в нём много конкретики: веса Kimi K3.1 Pro опубликованы, это MoE на 2,8 трлн параметров с 104 млрд активных, 93 слоя, кастомная лицензия, и модель мультимодальная. Автор называет её самым крупным открытым релизом недели. Подтверждения из других источников и результатов бенчмарков в посте нет, так что относимся к этому как к заявке на проверку.

Что значат эти цифры

MoE (mixture of experts) устроена так: у модели огромный набор «экспертов», но на каждый токен включается только небольшая часть. Здесь это 104 млрд из 2,8 трлн, то есть около 3,7% параметров. По вычислениям на токен модель сопоставима с плотной моделью на 100 с лишним миллиардов. А вот в памяти держать приходится всё. Простая арифметика: в 8-битном формате веса займут порядка 2,8 ТБ, в 4-битном около 1,4 ТБ. На одной машине с несколькими GPU это не запустить, нужен многоузловой кластер.

Отсюда практический вывод. «Открытые веса» в таком масштабе не означают «поставлю у себя на сервере». Для большинства команд реальный путь один: ждать, пока модель развернут хостинг-провайдеры, и обращаться к ней по API.

Архитектура: гибрид вместо классического внимания

Из 93 слоёв 69 относятся к KDA, а 24 — к gated DSA. То есть примерно три четверти стека занимают слои одного типа, и около четверти — слои другого. Расшифровок аббревиатур в посте нет. KDA, судя по всему, отсылает к линейному вниманию из линейки Kimi (Kimi Delta Attention), а DSA — к разреженному вниманию. Это наша догадка, а не факт из источника.

Зачем так делают, хорошо известно. Классическое внимание дорожает с длиной контекста и раздувает KV-кэш. Гибриды с линейными и разреженными слоями этот кэш сжимают и удешевляют длинный контекст. Если схема сработает в K3.1 Pro, выиграют те, кто гоняет длинные документы, кодовые базы и агентные цепочки, где контекст растёт на каждом шаге.

Мультимодальность и лицензия

К тому же это vision-language модель. Для продактов это значит, что скриншоты интерфейсов, документы и диаграммы можно отдавать той же модели, что и текст, без отдельного пайплайна. Насколько качественно она это делает, пока неизвестно.

Лицензия названа «custom», и это самое важное, что пост оставляет за кадром. У таких лицензий бывают ограничения: пороги по выручке или числу пользователей, требования указывать авторство, запреты на некоторые сценарии. Пока вы не прочитали текст, называть модель open source в строгом смысле нельзя. Правильнее говорить об open weights.

Что делать на практике

Во-первых, не переписывайте стек под модель по одному посту. Дождитесь независимых замеров на ваших задачах: код, tool use, работа с длинным контекстом.

Во-вторых, проверьте поддержку в vLLM и SGLang. Новая гибридная архитектура часто выходит с отставанием в инференс-движках, и это определяет, когда модель реально станет доступна.

В-третьих, прочитайте лицензию юристом или хотя бы вдумчиво самим, прежде чем закладывать модель в коммерческий продукт.

Наконец, посчитайте экономику. Когда активных параметров 104 млрд, цена за токен у провайдера может оказаться разумной. Но требования к памяти сделают хостинг дорогим для тех, кто решит держать модель у себя. Пока же главный вывод такой: китайские лаборатории продолжают выкладывать веса флагманского масштаба, и планку для открытых моделей это снова поднимает.