Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureAnalyse · Sur le radarAWS Machine Learning Blog→ original

AWS permet d'écrire sa propre boucle de post-entraînement sans gérer les GPU

Adapter des modèles ouverts à son métier reste complexe : il faut choisir la technique, monter des clusters de GPU et relier manuellement l'entraînement à la génération de réponses. AWS rend disponibles les training sessions dans SageMaker AI : vous écrivez la boucle d'entraînement, la fonction de récompense et votre propre loss, tandis que le service gère les GPU, l'exécution distribuée et les checkpoints. gpt-oss-20b, gemma-4-31B-it et deux modèles Qwen de 27B sont pris en charge. Pour les équipes qui développent des agents, c'est une façon de tester le RL sans infrastructure propre.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
AWS permet d'écrire sa propre boucle de post-entraînement sans gérer les GPU
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1Vous payez les tokens ; le compteur ne tourne pas pendant que votre récompense est calculée chez vous
Disponiblesgpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B et Qwen3.8-27B
Chiffre clé #3Données et checkpoints restent dans votre S3 ; AWS n'entraîne pas ses modèles dessus

Les entreprises qui tirent un vrai résultat de l'IA prennent rarement le modèle de base tel quel. Elles adaptent des modèles ouverts à leurs données : catalogue produits, vocabulaire médical, processus internes. Un tel modèle résout plus précisément une tâche étroite et coûte moins cher à exploiter. Mais le processus reste pénible : il faut choisir une méthode, louer et configurer des GPU et, pour les agents, construire un environnement d'apprentissage par renforcement multi-étapes. AWS propose de retirer une partie de cette difficulté : le service training sessions d'Amazon SageMaker AI est désormais généralement disponible.

Ce qui a été lancé

Avant, dans la personnalisation serverless de SageMaker, vous choisissiez une technique prête à l'emploi, par exemple SFT, DPO, RLVR, RLAIF ou le RL multi-étapes. Vous pouviez faire varier la part de poids mis à jour (LoRA ou fine-tuning complet) et enchaîner les méthodes. Mais les clients demandaient davantage de liberté : leurs propres fonctions de perte (loss), leur propre forme de récompense, plusieurs étapes de RL dans une même boucle.

Les training sessions offrent cette possibilité. Vous écrivez la boucle d'entraînement et la fonction de récompense dans votre environnement, puis connectez votre agent à ses outils ou à ses simulateurs. AWS prend en charge l'essentiel du travail sur les GPU : il alloue la capacité, lance l'entraînement distribué, reprend après les pannes et conserve les checkpoints. Vous n'avez ni à choisir les types d'instances ni à configurer les clusters.

À quoi ressemble la boucle, avec l'exemple de GRPO

GRPO est une méthode de RL dans laquelle le modèle génère plusieurs réponses à une même requête, chaque réponse est évaluée, et la mise à jour des poids repose sur la comparaison des réponses entre elles. Dans les training sessions, un passage se déroule ainsi :

  1. Votre code demande au sampler de générer plusieurs réponses pour chaque requête avec le modèle courant.
  2. Votre fonction de récompense les évalue chez vous : via un vérificateur, un modèle de récompense ou un jeu de tests.
  3. Les scores sont transmis au trainer. L'appel forward_backward() calcule les gradients, optim_step() applique la mise à jour aux poids.
  4. Vous demandez à la session de mettre à jour le sampler avec les nouveaux poids et lancez le lot suivant.

C'est pratique pour les agents qui réservent des voyages, traitent des tickets de support ou mènent une recherche en plusieurs étapes. Le résultat d'un tel agent n'est lisible qu'après plusieurs rounds d'interaction, et l'entraînement, la génération et l'évaluation vivent en général sur des clusters différents. Ici, ils sont réunis dans une seule boucle.

Le paiement se fait au token traité par SageMaker AI. Pendant que votre fonction de récompense évalue le lot dans votre environnement, le compteur ne tourne pas. Il n'est pas nécessaire de réserver de capacité.

Qui a déjà essayé, et qu'en est-il des données

AWS cite deux retours. ImagineSoftware développe un modèle de tri des refus de remboursement de prestations d'assurance maladie et salue l'accès direct aux passes avant et arrière, à l'échantillonnage et à l'étape d'optimisation. Karini AI a adapté gpt-oss-20b pour appeler des outils en mode multi-étapes au-dessus d'un graphe de connaissances Amazon Neptune. Son CEO souligne en particulier la reprise de l'entraînement au pas exact. Il s'agit de témoignages de partenaires issus du communiqué de presse ; l'article ne fournit ni mesure indépendante de la qualité ni de données sur le coût.

Côté sécurité : la session fonctionne sous votre rôle IAM, vous pouvez brancher votre propre clé KMS et vos paramètres VPC. Les données et checkpoints se trouvent dans vos buckets S3, dans la région choisie. AWS affirme ne pas utiliser vos données ni vos poids pour entraîner d'autres modèles. Avant le déploiement, le modèle peut être vérifié en termes de précision, de biais et de sécurité, puis protégé par des garde-fous et surveillé via CloudWatch.

Par où commencer et à quoi faire attention

gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B et Qwen3.8-27B sont pris en charge. Deux voies de démarrage : installer le SDK Python de SageMaker (Linux ou macOS, Python 3.10 à 3.12) et cloner le cookbook, ou ouvrir l'environnement prêt à l'emploi dans SageMaker Studio, qui, selon AWS, démarre en moins de 20 secondes. On peut aussi y connecter un agent de code (Kiro, Claude Code, Codex ou Copilot) doté d'un ensemble de compétences dédiées à la personnalisation : il aide à préparer les données, choisir la technique, entraîner, évaluer et déployer le modèle.

Les limites sont évidentes. La liste des modèles reste courte et se limite à une taille moyenne allant jusqu'à 31B. Vous écrivez la boucle vous-même, il faut donc maîtriser le RL et concevoir avec soin les récompenses : le service supprime les contraintes d'infrastructure, mais pas la qualité de votre fonction d'évaluation. Pour les équipes qui veulent tester le RL sur des agents sans acheter de GPU ni recruter d'ingénieurs spécialisés dans les clusters, c'est un moyen rapide de lancer des expériences.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été lancé ?

Avant, dans la personnalisation serverless de SageMaker, vous choisissiez une technique prête à l'emploi, par exemple SFT, DPO, RLVR, RLAIF ou le RL multi-étapes. Vous pouviez faire varier la part de poids mis à jour (LoRA ou fine-tuning complet) et enchaîner les méthodes. Mais les clients demandaient davantage de liberté : leurs propres fonctions de perte (loss), leur propre forme de récompense, plusieurs étapes de RL dans une même boucle. Les training sessions offrent cette possibilité.

Que sait-on sur à quoi ressemble la boucle, avec l'exemple de GRPO ?

GRPO est une méthode de RL dans laquelle le modèle génère plusieurs réponses à une même requête, chaque réponse est évaluée, et la mise à jour des poids repose sur la comparaison des réponses entre elles. Dans les training sessions, un passage se déroule ainsi : Votre code demande au sampler de générer plusieurs réponses pour chaque requête avec le modèle courant. Votre fonction de récompense les évalue chez vous : via un vérificateur, un modèle de récompense ou un jeu de tests.

Que sait-on sur Qui a déjà essayé, et qu'en est-il des données ?

AWS cite deux retours. ImagineSoftware développe un modèle de tri des refus de remboursement de prestations d'assurance maladie et salue l'accès direct aux passes avant et arrière, à l'échantillonnage et à l'étape d'optimisation. Karini AI a adapté gpt-oss-20b pour appeler des outils en mode multi-étapes au-dessus d'un graphe de connaissances Amazon Neptune. Son CEO souligne en particulier la reprise de l'entraînement au pas exact.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…