Kimi K3 no Amazon Bedrock já funciona na Índia: os dados não saem do país

Se você desenvolve um produto para o setor fintech ou para o setor público da Índia, conhece bem o problema: os dados dos clientes não podem sair do país, enquanto os melhores modelos geralmente são executados em algum lugar dos Estados Unidos. A AWS fechou essa lacuna para o Kimi K3, da Moonshot AI. O Amazon Bedrock agora oferece um perfil de inferência que processa solicitações apenas nas regiões de Mumbai e Hyderabad.

Como escolher onde uma solicitação será processada

O Kimi K3 no Bedrock funciona por meio de perfis de inferência entre regiões. Você chama o modelo a partir da sua própria região, e o Bedrock escolhe onde executá-lo. O ID do perfil define o conjunto de regiões permitidas.

A AWS recomenda o perfil global global.moonshotai.kimi-k3 para a maioria das cargas de trabalho: ele é o mais barato e o que oferece maior disponibilidade. Se você precisa de residência de dados, use in.moonshotai.kimi-k3: o processamento permanece em Mumbai e Hyderabad. O tráfego entre regiões é criptografado e não passa pela internet pública, e não é necessário configurar sua própria VPC multirregional.

Na prática, as permissões são importantes. A política de IAM deve autorizar chamadas para as duas regiões de destino na Índia, e não apenas para a região de onde a solicitação é enviada. Se a organização aplicar restrições regionais por SCP, elas precisarão ser ajustadas; caso contrário, as solicitações falharão. Os logs e as métricas permanecem na região de origem, enquanto o CloudTrail pode incluir o campo inferenceRegion para verificar onde cada solicitação foi realmente processada.

Exemplo: leitura de uma conta em hindi sem OCR

A AWS apresenta um cenário típico para formulários de KYC e contas de serviços públicos. Você envia em base64 a imagem de uma conta de eletricidade, e o próprio modelo lê o texto em devanagari. Depois, é possível fazer perguntas em hinglish, ou seja, hindi escrito no alfabeto latino e misturado com inglês. Por exemplo: “Bill kitne ka hai aur last date kab hai?” O modelo responde com o valor de 2.217,20 rúpias e o prazo de pagamento.

Para obter uma saída estruturada, são usados function calling ou JSON Schema. O pipeline do exemplo faz quatro coisas: transcreve o documento na escrita original, extrai os campos em JSON, normaliza as datas de acordo com a ISO 8601, converte algarismos devanagari em dígitos convencionais e translitera os nomes. Em seguida, escreve um breve resumo em inglês e responde a perguntas complementares.

O artigo oferece algumas dicas práticas. Para detalhes pequenos, use detail: high; a opção é mais precisa, mas consome mais tokens. Colocar a imagem antes do texto pode melhorar a qualidade em alguns casos. A conexão pode ser feita pela biblioteca openai convencional, pois a API é compatível com a OpenAI, e o token é gerado a partir de credenciais padrão da AWS.

Custos: níveis e cache

O principal número do artigo veio de um cliente. A Ultrahuman usa o Kimi K3 no Jade, um assistente que responde a perguntas sobre dados do anel inteligente e de glicose em mais de 14.000 conversas por dia. Segundo a empresa, o cache de prompts reduziu os custos em 80% e acelerou os chats com múltiplos turnos em 85%. Essa é uma alegação da própria empresa em um blog de parceiros da AWS e não foi verificada de forma independente.

Para reproduzir o efeito, coloque a parte estática —o prompt do sistema e as descrições das ferramentas— no início da solicitação, e o conteúdo dinâmico, como a imagem e a pergunta, no final. Há um modo de cache implícito que funciona automaticamente e outro explícito, no qual você define breakpoints para obter mais acertos de cache. Para tarefas sem requisitos rígidos de latência, o nível flex oferece desconto de 50%; para tarefas urgentes, há o nível priority, com cobrança adicional.

O que fazer com isso

Se você tem clientes indianos que exigem que os dados permaneçam no país, agora pode usar um modelo aberto robusto sem precisar hospedá-lo por conta própria. Comece verificando as configurações de IAM e SCP e, depois, crie um protótipo de extração de campos com 20–30 documentos reais. A própria AWS recomenda não confiar cegamente na extração automatizada: adicione validação e revisão humana aos processos críticos. As alegações de desempenho de nível “fronteira” do modelo vêm da Moonshot AI; portanto, compare-o com seu modelo atual usando seus próprios dados.