Kimi K3 est désormais disponible sur Amazon Bedrock en Inde : les données ne quittent pas le pays

Si vous développez un produit pour la fintech ou le secteur public indien, vous connaissez le problème : les données des clients ne peuvent pas sortir du pays, alors que les bons modèles tournent généralement quelque part aux États-Unis. AWS a comblé cette lacune pour Kimi K3 de Moonshot AI. Amazon Bedrock propose désormais un profil d’inférence qui traite les requêtes uniquement dans les régions de Mumbai et Hyderabad.

Comment choisir où la requête est traitée

Kimi K3 fonctionne dans Bedrock par l’intermédiaire de profils d’inférence interrégionaux. Vous appelez le modèle depuis votre propre région, puis Bedrock choisit lui-même où effectuer le calcul. L’ensemble des régions autorisées est défini par l’identifiant du profil.

AWS recommande le profil global global.moonshotai.kimi-k3 pour la plupart des tâches : c’est le moins cher et le plus disponible. Si vous avez besoin de localisation, choisissez in.moonshotai.kimi-k3 : le traitement reste à Mumbai et Hyderabad. Le trafic entre les régions est chiffré et ne transite pas par l’Internet public ; il n’est donc pas nécessaire de configurer votre propre VPC multirégion.

En pratique, un détail relatif aux autorisations est important. La politique IAM doit autoriser l’appel dans les deux régions indiennes de destination, et pas seulement dans la région depuis laquelle vous envoyez la requête. Si votre organisation applique des restrictions SCP par région, il faudra les modifier, faute de quoi les requêtes échoueront. Les journaux et les métriques restent stockés dans la région d’origine. Dans CloudTrail, vous pouvez activer le champ inferenceRegion afin de vérifier où chaque requête a réellement été traitée.

Exemple : analyser le scan d’une facture en hindi sans OCR

AWS présente un scénario typique pour les formulaires KYC et les factures de services publics. Vous envoyez en base64 l’image d’une facture d’électricité, et le modèle lit lui-même le texte en devanagari. Vous pouvez ensuite lui poser des questions en hinglish, c’est-à-dire en hindi écrit en caractères latins et mêlé à l’anglais. Par exemple : « Bill kitne ka hai aur last date kab hai? » Le modèle répond avec le montant de 2 217,20 roupies et la date limite de paiement.

Pour obtenir une sortie structurée, on utilise le function calling ou JSON Schema. Le pipeline de l’exemple accomplit quatre tâches : il transcrit le document dans son système d’écriture d’origine, extrait les champs au format JSON, normalise les dates selon ISO 8601, convertit les chiffres en devanagari en chiffres usuels et translittère les noms. Il rédige ensuite un bref résumé en anglais et répond aux questions complémentaires.

L’article donne aussi quelques conseils pratiques. Pour les petits détails, utilisez detail: high : ce réglage est plus précis, mais consomme davantage de tokens. Il vaut mieux placer l’image avant le texte, car la qualité est parfois supérieure. La connexion peut passer par la bibliothèque openai habituelle, puisque l’API est compatible avec OpenAI et que le token est généré à partir des identifiants AWS standards.

Coûts : tiers et cache

Le principal chiffre de l’article vient d’un client. Ultrahuman utilise Kimi K3 dans son assistant Jade, qui répond aux questions concernant les données de l’anneau et la glycémie, soit plus de 14 000 conversations par jour. Selon l’entreprise, la mise en cache des prompts a réduit les coûts de 80 % et accéléré de 85 % les conversations à plusieurs tours. Il s’agit d’une déclaration de l’entreprise elle-même, publiée dans un article partenaire du blog AWS, sans vérification indépendante.

Pour reproduire cet effet, placez la partie statique — prompt système et descriptions des outils — au début de la requête, puis les éléments dynamiques, comme l’image et la question, à la fin. Il existe un mode de cache implicite, qui fonctionne automatiquement, et un mode explicite, dans lequel vous placez des breakpoints pour obtenir davantage de correspondances. Pour les tâches sans contrainte stricte de latence, le tier flex offre une remise de 50 %. Pour les requêtes urgentes, un tier priority est proposé moyennant un supplément.

Que faire concrètement

Si vous avez des clients indiens qui exigent que leurs données restent dans le pays, vous pouvez désormais utiliser un puissant modèle ouvert sans l’héberger vous-même. Commencez par vérifier IAM et SCP, puis construisez un prototype d’extraction de champs à partir de 20 à 30 documents réels. AWS recommande lui-même de ne pas faire aveuglément confiance à l’extraction automatique : pour les processus critiques, ajoutez une validation et une vérification humaine. Les affirmations concernant le niveau « frontier » du modèle proviennent de Moonshot AI ; comparez-le donc à votre modèle actuel sur vos propres données.