Kimi K3.1 Pro сразу работает в vLLM: 1M токенов и 65,7% на Terminal-Bench 4.0

Новая открытая модель обычно проходит один и тот же путь. Сначала выходит релиз, потом неделями ждёшь, пока сообщество допилит инференс, а пока гоняешь её через чужой API. С Kimi K3.1 Pro от Moonshot AI этот этап пропустили: проект vLLM объявил о поддержке модели в день выхода.

Что известно

Из анонса следуют три факта. Во-первых, у Kimi K3.1 Pro контекстное окно в 1 млн токенов. Moonshot позиционирует модель для длинных сессий программирования, создания 3D-контента и исследовательских задач. Во-вторых, на Terminal-Bench 4.0 модель набирает 65,7%. Это бенчмарк, где агент решает задачи прямо в терминале: ставит зависимости, чинит сборку, правит конфиги. Замер сделан с обвязкой (harness) Claude Code. В-третьих, vLLM обещает day-0 serving на GPU, то есть запустить модель можно сразу, без ожидания форков и патчей.

Больше деталей в самом посте нет. Размер модели, архитектура, лицензия и требования к памяти в нём не указаны, так что их придётся смотреть в документации Moonshot и в заметках к релизу vLLM.

Почему важна именно поддержка в vLLM

vLLM давно стал одним из основных движков для self-hosted инференса. Если модель в нём работает с первого дня, у команды появляется понятный путь: взять готовый образ, поднять OpenAI-совместимый эндпоинт и подключить его к существующим инструментам. Не нужно писать свой сервер и разбираться с нестандартными ядрами.

Для компаний с жёсткими требованиями к данным это существенно. Код клиента, внутренние репозитории и логи инцидентов часто нельзя отправлять во внешний API. Раньше выбор был между закрытой моделью по API и отстающей открытой. Теперь, если заявленные результаты подтвердятся, появляется третий вариант: сильная агентная модель на собственном железе.

Что значат 1M токенов и 65,7%

Миллион токенов — это не только «влезет вся кодовая база». Длинная сессия агента накапливает историю: вывод команд, диффы, логи тестов, прошлые попытки. Чем больше окно, тем реже приходится сжимать контекст и терять детали. Но у длинного контекста есть цена. KV-кэш растёт вместе с длиной, и на реальной нагрузке он быстро съедает память GPU. Поэтому «поддерживает 1M» и «комфортно держит 1M при десятках одновременных сессий» — разные вещи, и разницу вы увидите только на собственных замерах.

С 65,7% на Terminal-Bench 4.0 всё тоже не так просто. Результат зависит от обвязки, а здесь использован Claude Code harness. В другом агентном фреймворке, со своими промптами и инструментами, цифра может оказаться иной. К тому же это результат, который опубликовала сама сторона разработчика. Независимых воспроизведений в посте нет.

Что делать на практике

Если вы строите кодовых агентов или внутренние инструменты для разработчиков, разумный план такой:

1. Прочитайте заметки к релизу vLLM и проверьте, какое железо и какие параметры нужны для длинного контекста.
2. Возьмите 20–30 реальных задач из своего бэклога: починка CI, миграции, разбор падающих тестов. Прогоните их через Kimi K3.1 Pro и через вашу текущую модель.
3. Измеряйте не только долю решённых задач, но и стоимость часа GPU, задержку на длинных сессиях и число шагов до результата.
4. Тестируйте с вашим собственным агентным каркасом, а не только с тем, на котором получен бенчмарк.

Продактам стоит заметить другое: скорость, с которой открытые модели доходят до продакшен-инфраструктуры, растёт. Разрыв между релизом весов и возможностью их использовать сократился до нуля. Это снижает риск привязки к одному провайдеру и усиливает позиции в переговорах о цене.

Итог: новость скорее инфраструктурная, чем революционная. Но если цифры подтвердятся, у команд с собственными GPU появится серьёзная альтернатива закрытым агентным моделям, причём без недель подготовки.