Amazon SageMaker AI supprime l'envoi obligatoire vers S3 pour l'inférence asynchrone

Amazon a mis à jour SageMaker AI : l'inférence asynchrone accepte désormais les données d'entrée directement dans le corps de la requête API, sans chargement préalable obligatoire dans Amazon S3.

Comment fonctionne l'inférence asynchrone

SageMaker Async Inference est un mode destiné aux tâches de ML qui ne tiennent pas dans une attente de quelques secondes. Transcription audio, traitement de documents PDF, génération de longs textes, classification d'images par lots : dans tous ces scénarios, la réponse du modèle peut prendre de plusieurs dizaines de secondes à plusieurs minutes. L'inférence synchrone ne convient pas ici : le client ne peut pas garder une connexion HTTP ouverte aussi longtemps.

Le mode asynchrone règle ce problème avec une file d'attente : la requête est mise en file, le modèle travaille en arrière-plan, le résultat est enregistré dans un bucket S3, et le client reçoit une notification ou vérifie périodiquement s'il est prêt. C'est un schéma standard pour les systèmes de ML en production dont les temps de réponse varient.

Jusqu'à cette mise à jour, le flux standard exigeait deux étapes : d'abord charger les données d'entrée dans S3, puis transmettre à `InvokeEndpointAsync` une référence à cet objet. Ce n'est qu'ensuite que SageMaker se mettait au travail. Chaque appel impliquait une opération d'écriture supplémentaire dans le stockage et une requête réseau en plus.

Ce qui change

Amazon a ajouté la prise en charge des inline payloads : les données peuvent désormais être transmises directement dans le corps de la requête `InvokeEndpointAsync`, comme avec une API REST classique. Le chargement préalable des données d'entrée dans S3 n'est plus nécessaire.

Changements concrets :

• Moins de code : plus besoin d'écrire la logique de création des objets S3, de transmission de la clé puis de nettoyage des fichiers temporaires
• Coûts d'exploitation réduits : chaque opération PUT dans S3 est facturée, et avec des milliers de petits appels par jour, la note devient sensible
• Débogage simplifié : les données d'entrée sont visibles directement dans la requête, sans passer par la console S3 pour savoir ce qui a été envoyé
• Moins de points de défaillance : un appel réseau au lieu de deux diminue le risque d'échec à l'étape de chargement des données
• Démarrage plus rapide du traitement : SageMaker lance l'inférence immédiatement, sans attendre la récupération des données dans le stockage

Pour quelles tâches

La mise à jour est surtout utile lorsque les données d'entrée sont de taille petite ou moyenne et générées dynamiquement.

Requêtes de ML intégrées aux applications : lorsqu'un utilisateur envoie un texte à analyser ou une image à classer, stocker un objet intermédiaire dans S3 uniquement pour le transmettre au modèle est du travail superflu. Les données passent désormais directement.

Tests après déploiement : dans les pipelines CI/CD, la vérification d'un modèle après sa mise en production peut comprendre des dizaines de requêtes de test. Gérer des objets S3 temporaires pour chacune d'elles n'est plus nécessaire.

Pour les données volumineuses, comme les longs fichiers vidéo, les gros enregistrements audio ou les corpus de documents, la voie par S3 reste la plus adaptée et toujours disponible. Les deux approches fonctionnent en parallèle, et le développeur choisit celle qui convient à sa tâche.

Ce que cela signifie

Amazon retire méthodiquement des obstacles d'infrastructure dans SageMaker. La prise en charge des inline payloads est une amélioration ponctuelle, mais concrète : moins d'étapes, moins de dépendances, une architecture de pipeline plus propre. Pour les équipes qui font de l'inférence asynchrone à haute fréquence, c'est un gain réel de temps de développement et de coûts d'exploitation.