AWS détaille une infrastructure de RL multi-tour pour entraîner le modèle Amazon Nova

Le blog AWS Machine Learning a publié un guide pour déployer une infrastructure en deux phases dédiée au reinforcement learning (RL) multi-tour du modèle Amazon Nova. Elle s'appuie sur Amazon Nova Forge et tourne sur la plateforme Amazon SageMaker HyperPod.

Comment fonctionne le pipeline d'entraînement

Une fois déployé, le système forme un pipeline event-driven, c'est-à-dire piloté par les événements : l'entraînement démarre automatiquement dès que l'utilisateur dépose des données dans un bucket Amazon S3. Pour la démonstration, le guide entraîne le modèle à jouer au jeu de mots Wordle. Les auteurs le présentent explicitement comme un « placeholder », que le lecteur peut remplacer par sa propre tâche de RL. Wordle fait un bon cas d'école précisément parce qu'il s'agit d'un jeu simple, au résultat net et facile à vérifier à chaque coup — le mot est trouvé ou non. On peut donc en tirer sans difficulté un signal de récompense clair pour le modèle.

• L'infrastructure comprend deux phases et se déclenche automatiquement sur événement
• Le déclencheur est le dépôt de données dans un bucket Amazon S3
• L'entraînement s'exécute sur Amazon SageMaker HyperPod avec Amazon Nova Forge
• La tâche de démonstration consiste à apprendre au modèle à jouer à Wordle ; elle ne sert que d'exemple et peut être remplacée par n'importe quelle autre tâche de RL

À quoi sert le RL multi-tour ?

Le reinforcement learning multi-tour entraîne un modèle sur une série de coups ou de répliques successifs, avec un retour à chaque étape, plutôt que sur la génération d'une réponse isolée. Cette approche compte particulièrement pour les systèmes d'IA agentiques : des modèles qui doivent planifier plusieurs étapes à l'avance, ajuster leur stratégie au fil d'un dialogue ou d'une partie, et apprendre du résultat de toute la séquence d'actions plutôt que d'une seule réplique. C'est le cas des assistants de support client, des agents de trading ou de jeu, et des outils qui appellent des API externes.

Amazon Nova est une famille de modèles de fondation présentée par AWS dans le cadre de la plateforme Bedrock ; Amazon Nova Forge sert ici d'outil pour leur fine-tuning. Amazon SageMaker HyperPod est, lui, l'infrastructure managée d'AWS pour l'entraînement distribué résilient sur de grands clusters de GPU. Elle est conçue pour se rétablir automatiquement après la panne d'un nœud, sans perdre la progression de l'ensemble du run d'entraînement.

L'architecture event-driven a ici un intérêt propre : au lieu de relancer l'entraînement à la main à chaque arrivée de nouvelles données, le pipeline réagit au simple dépôt d'un fichier dans S3 et démarre l'entraînement tout seul. Il devient ainsi plus simple d'organiser un fine-tuning continu du modèle au fil des nouvelles données, et l'équipe a moins d'opérations manuelles à effectuer pour lancer chaque nouveau cycle de RL. De son côté, la reprise automatique du cluster HyperPod après la panne d'un nœud réduit le risque de devoir relancer de zéro un run de plusieurs heures ou de plusieurs jours à cause d'une simple défaillance matérielle.

Ce que cela signifie

Cette publication montre qu'AWS continue d'étoffer ses outils de fine-tuning de ses propres modèles Nova par reinforcement learning, directement sur une infrastructure managée. L'offre concurrence les propositions similaires de fine-tuning par RL d'OpenAI, Google et Anthropic, et facilite pour les clients la construction de leurs propres systèmes d'IA agentiques au-dessus de Nova. Le choix d'un jeu volontairement simple comme Wordle en guise d'exemple indique aussi qu'AWS ne destine pas ce guide aux seules équipes de recherche, mais également aux ingénieurs qui cherchent un point de départ clair pour leurs propres projets.