Kimi K3 в Amazon Bedrock заработала в Индии: данные не покидают страну

Если вы делаете продукт для индийского финтеха или госсектора, то знаете эту боль: данные клиентов нельзя выпускать за границу, а хорошие модели обычно крутятся где-то в США. AWS закрыла эту дыру для Kimi K3 от Moonshot AI. Теперь в Amazon Bedrock есть профиль инференса, который обрабатывает запросы только в регионах Мумбаи и Хайдарабад.

Как выбрать, где считается запрос

Kimi K3 в Bedrock работает через cross-Region inference profiles. Вы вызываете модель из своего региона, а Bedrock сам выбирает, где её посчитать. Набор допустимых регионов задаёт ID профиля.

Глобальный профиль global.moonshotai.kimi-k3 AWS рекомендует для большинства задач: он самый дешёвый и самый доступный. Если нужна локализация, берите in.moonshotai.kimi-k3: обработка остаётся в Мумбаи и Хайдарабаде. Трафик между регионами шифруется и не уходит в публичный интернет, настраивать свой multi-region VPC не нужно.

На практике важна деталь с правами. IAM-политика должна разрешать вызов обоих индийских регионов назначения, а не только того, откуда вы шлёте запрос. Если в организации стоят SCP-ограничения по регионам, их придётся поправить, иначе запросы будут падать. Логи и метрики при этом хранятся в регионе-источнике, а в CloudTrail можно включить поле inferenceRegion и проверять, где реально считался каждый запрос.

Пример: скан счёта на хинди без OCR

AWS показывает типичный сценарий для KYC-форм и коммунальных счетов. Вы отправляете изображение счёта за электричество в base64, и модель сама читает текст на деванагари. Дальше ей можно задавать вопросы на хинглише, то есть хинди латиницей вперемешку с английским. Например: «Bill kitne ka hai aur last date kab hai?» Модель отвечает суммой 2 217,20 рупий и сроком оплаты.

Для структурной выгрузки используют function calling или JSON Schema. Пайплайн из примера делает четыре вещи: расшифровывает документ в исходной письменности, достаёт поля в JSON, приводит даты к ISO 8601, превращает деванагари-цифры в обычные и транслитерирует имена. Потом пишет короткое резюме на английском и отвечает на уточняющие вопросы.

Пара практических советов из статьи. Для мелких деталей ставьте detail: high, это точнее, но съедает больше токенов. Картинку лучше класть перед текстом, так качество иногда выше. Подключаться можно через обычную библиотеку openai, потому что API совместим с OpenAI, а токен генерируется из стандартных AWS-кредов.

Деньги: tiers и кэш

Главная цифра статьи пришла от клиента. Ultrahuman использует Kimi K3 в ассистенте Jade, который отвечает на вопросы по данным кольца и глюкозы, это более 14 000 диалогов в день. По их словам, кэширование промптов срезало расходы на 80% и ускорило многоходовые чаты на 85%. Это заявление самой компании в партнёрском блоге AWS, независимой проверки нет.

Чтобы повторить эффект, ставьте статичную часть (системный промпт, описания инструментов) в начало запроса, а динамику вроде картинки и вопроса в конец. Есть неявный режим кэша, который работает сам, и явный, где вы расставляете breakpoints и получаете больше попаданий. Для задач без жёсткой задержки есть tier flex со скидкой 50%, для срочных есть priority за доплату.

Что с этим делать

Если у вас есть индийские клиенты с требованием хранить данные в стране, теперь можно использовать сильную открытую модель без своего хостинга. Начните с проверки IAM и SCP, затем соберите прототип извлечения полей на 20–30 реальных документах. Сам AWS советует не доверять автоматическому извлечению вслепую: для критичных процессов добавляйте валидацию и ручную проверку. Заявления про «фронтирный» уровень модели исходят от Moonshot AI, поэтому сравните её с вашей текущей моделью на собственных данных.