Kimi K3.1 Pro Highspeed вышел в Amazon Bedrock: токены в 2–3 раза быстрее

Если вы строите кодового агента, то знаете, что главная боль не в цене токена, а в ожидании. Агент читает файлы, планирует правку, пишет код, гоняет тесты, чинит упавшее — и каждый шаг ждёт завершения предыдущего. Поэтому скорость генерации здесь важнее, чем красивая цифра в бенчмарке. Именно на этом играет новый релиз в Amazon Bedrock: Kimi K3.1 Pro Highspeed от Moonshot AI.

Что за модель

Kimi K3.1 Pro Highspeed входит в новую серию K3.1. Это post-trained версия Kimi K3: та же архитектура с открытыми весами масштаба 3 трлн параметров и то же окно контекста в миллион токенов, но с заметно большим объёмом дообучения. По словам Moonshot AI, это дообучение нацелено на длинные агентные задачи и снижение числа фактических ошибок. Ещё компания обещает прирост в профессиональных сценариях вроде финансового моделирования и офисных документов, а также в коде для игровых движков, 3D-сцен и CAD-скриптов.

Главное в приставке Highspeed: по данным Moonshot AI, модель выдаёт выходные токены в 2–3 раза быстрее, чем K3.1 Pro. Это заявление вендора, независимых замеров в материале нет, поэтому прогоните собственные задачи, прежде чем перестраивать на неё продакшен.

Модель умеет вызов инструментов, структурированный вывод, настраиваемое рассуждение, картинки на входе и стриминг. По части безопасности AWS обещает, что данные обрабатываются внутри границ AWS, не передаются Moonshot AI и не идут на обучение. Для запросов инференса всегда включено нулевое хранение, а операторы AWS не видят ваши промпты и ответы.

Как подключиться: почти ничего не менять

Модель доступна на эндпоинте bedrock-runtime через OpenAI-совместимые Chat Completions и Responses API, а также через Converse и Invoke. AWS рекомендует Chat Completions. Если приложение уже работает на OpenAI SDK, достаточно направить его на эндпоинт Bedrock и поменять название модели. Тем, кто сидит на Kimi K3 в Bedrock, и это не нужно: эндпоинт, API и функции те же, меняется только ID модели.

Доступ идёт через кросс-региональные профили инференса:

• global.moonshotai.kimi-k3.1 — маршрутизация в любой поддерживаемый коммерческий регион, дешевле за токен, подходит для большинства задач;
• us.moonshotai.kimi-k3.1 — обработка только в регионах США;
• in.moonshotai.kimi-k3.1 — обработка только в регионах Индии, для требований к размещению данных.

Если у вас нет жёстких требований к резидентности данных, берите global.

Отдельный нюанс: модель всегда рассуждает перед ответом. Глубину задаёт параметр reasoning_effort (в Responses API это reasoning.effort) со значениями low, high или max. Если его не указать, используется max. Для простых запросов это лишние токены и задержка, так что явный low — самый прямой способ ускорить ответ и сократить счёт.

Где сэкономить: Flex и явный кэш

Flex-тариф отдаёт модель за половину цены Standard, но время ответа может быть дольше. Подходит для оценки моделей, суммаризации и фоновых задач внутри агентных цепочек. Тариф выбирается на каждый запрос: критичные по задержке запросы можно пускать через Priority, обычный трафик через Standard, а всё остальное через Flex. Квота при этом общая. AWS советует начать с небольшой доли трафика на Flex и сравнить задержку и стоимость, а разбивку по тарифам смотреть в CloudWatch.

Второй рычаг — явный prompt caching. Агенты и ассистенты каждый ход пересылают один и тот же длинный префикс: системные инструкции, описания инструментов, правила репозитория. Модель кэширует повторяющиеся префиксы автоматически, а явные брейкпоинты позволяют указать, где заканчивается стабильная часть, и поднять долю попаданий в кэш. Правила такие:

• работает в Chat Completions, Responses и Invoke, но не в Converse;
• брейкпоинт должен стоять после минимум 256 токенов стабильного контента;
• кэш хранится не менее 30 минут;
• запись в кэш тарифицируется дороже обычного входа, чтение дешевле и не засчитывается в квоту входных токенов в минуту.

Проверить попадание просто: поле cached_tokens в usage должно быть больше нуля.

Практический вывод

В статье показано, как подключить модель к OpenCode — открытому терминальному кодовому агенту, не привязанному к одной модели. Нужно прописать OpenAI-совместимый провайдер на базе Chat Completions и ключ Bedrock API. Краткосрочные ключи живут до 12 часов, работают только в регионе, где созданы, и рекомендованы для продакшена, долгосрочные — для экспериментов. В OpenCode уровни рассуждения low, high и max появятся как варианты модели.

Что делать на практике. Разработчикам с агентами: сменить ID на тестовом контуре, замерить длительность полного цикла «правка — тест — исправление» и сравнить с обычной K3.1 Pro. Продактам: разделить трафик по тарифам, чтобы фоновые задачи шли через Flex. Всем: не оставлять reasoning_effort на значении по умолчанию там, где хватает low.

Ограничения очевидны. Ускорение в 2–3 раза и снижение ошибок — слова Moonshot AI, а не независимой проверки. Цены в материале не приведены, их придётся смотреть на странице тарифов Bedrock. Кэш не работает через Converse, так что при переходе на явное кэширование придётся сменить API.