Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarAWS Machine Learning Blog→ original

AWS ajoute à SageMaker AI l'annotation automatique et les données synthétiques pour l'entraînement des modèles

La préparation des données pour le fine-tuning prend des semaines : l'annotation coûte cher, et les jeux de données cachent des doublons et des fuites de réponses. Amazon ajoute à SageMaker AI des outils où un jury de plusieurs modèles annote les lignes, tandis que les cas douteux partent en vérification chez des experts. On y trouve aussi la génération de données synthétiques et un contrôle qualité avant le lancement de l'entraînement. Pour les équipes qui visent une tâche étroite, cela permet de constituer plus vite un jeu de données propre.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
AWS ajoute à SageMaker AI l'annotation automatique et les données synthétiques pour l'entraînement des modèles
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1L'accord entre les modèles du jury devient un score de confiance pour chaque ligne
Chiffre clé #2Les données et les étiquettes restent dans votre S3 ; disponible dans les régions US East et US West
Chiffre clé #3Le format cible (SFT, DPO ou RL) se définit par une description en langage naturel

Toute équipe qui a déjà fait du fine-tuning d'un modèle pour sa propre tâche le sait : le plus long commence avant même le lancement de l'entraînement. Il faut trouver ou annoter des exemples, éliminer les doublons, tout convertir au format d'une méthode précise, puis s'assurer que les réponses du jeu de test ne se sont pas glissées dans l'échantillon d'entraînement. Amazon veut s'attaquer à ce problème et enrichit SageMaker AI d'un ensemble de fonctions de préparation des données. Elles sont accessibles via le SDK Python et via l'AI-ML skill pour les agents de code.

Cinq briques à la place d'un pipeline fait maison

L'idée d'AWS est d'éviter d'assembler à la main des outils d'annotation, des scripts de génération et des tâches de validation. Chaque fonction travaille séparément, et on peut les enchaîner.

L'annotation automatique fonctionne avec un jeu non annoté, avec un petit échantillon annoté servant d'amorce, ou même sans aucune étiquette. Elle prend en charge d'emblée la classification, l'extraction d'entités nommées, l'extraction de réponses dans un texte, les notes ordinales et le résumé ; vous pouvez aussi décrire vos propres types de tâches. Vous décrivez l'annotation dans une courte spécification, qui est d'abord testée sur vos exemples avant d'être appliquée à l'ensemble du jeu. Pour les tâches à ensemble de réponses fixe, chaque ligne est annotée par un jury de plusieurs modèles, et leur degré d'accord se traduit en score de confiance.

Les lignes à faible confiance entrent dans une file de vérification manuelle dans SageMaker Studio. Le service s'appuie pour cela sur l'outil open source Label Studio Community Edition, et des experts externes y accèdent par un lien. Leurs corrections sont renvoyées à l'annotation automatique et améliorent la passe suivante.

Les données synthétiques sont générées à partir d'une spécification et peuvent s'appuyer sur vos documents et sur des exemples d'amorce. Le service fournit le code du pipeline de génération, que l'on peut lire, modifier et relancer.

L'évaluation de la qualité vérifie le jeu selon vos règles métier, des métriques intégrées et des métriques recourant à un LLM comme juge. Elle repère les doublons et quasi-doublons, ainsi que des problèmes auxquels vous n'avez pas pensé : bruit dans les étiquettes et fuites de réponses. La transformation des données nettoie et restructure le jeu : on peut décrire la modification en langage courant et obtenir le code correspondant, utiliser des opérations prêtes à l'emploi comme la déduplication, la fusion, le découpage et le filtrage, ou exécuter son propre code Python.

À quoi cela ressemble en pratique

AWS donne l'exemple d'une équipe qui teste un assistant IA de support. Le manuel indique que la réinitialisation aux paramètres d'usine efface les réglages enregistrés, et il importe que l'assistant n'oublie pas d'en avertir l'utilisateur. L'équipe charge le manuel comme contexte et décrit les questions voulues et les réponses de référence. Puis, avec l'aide de l'agent, elle examine la spécification établie, génère un petit lot d'essai et vérifie les enregistrements par rapport au manuel. Ensuite, elle lance l'évaluation de la qualité, soumet les réponses litigieuses à un expert, corrige la spécification ou nettoie les doublons, génère des exemples complémentaires et revérifie le jeu.

Pour un scénario de bout en bout, AWS propose cette chaîne : générer des données à partir de documents, les convertir au format SFT, DPO ou d'apprentissage par renforcement, les vérifier (doublons, fuites, violations de règles), et seulement ensuite lancer l'entraînement via SageMaker AI model customization. La vérification avant l'entraînement compte : les ressources de calcul coûtent cher, et c'est à cette étape qu'il faut les ménager.

AWS cite par ailleurs le témoignage de Splunk (filiale de Cisco). Pour son produit Agent Observability, l'entreprise a besoin de modèles évaluateurs, mais manque de données pour des tâches aussi étroites. Splunk affirme obtenir rapidement, grâce à la génération synthétique, des jeux représentatifs qui conservent les régularités des données d'origine. Ce sont les propos d'un client tirés d'un communiqué : il n'y a pas ici de chiffres indépendants.

Contrôle et limites

Le service fonctionne avec un rôle IAM que vous gérez. Les données sources, les jeux générés et les étiquettes se trouvent dans vos buckets S3, dans la région choisie. Les fonctions ne sont disponibles publiquement que dans US East (N. Virginia) et US West (Oregon) : les équipes européennes soumises à des exigences de localisation des données devront donc patienter.

AWS recommande elle-même de ne pas rédiger les spécifications à la main, mais de les faire créer par un agent, puis d'en relire le résultat. Le conseil est honnête : la qualité des données synthétiques et de l'annotation automatique dépend de la précision avec laquelle la tâche est décrite. Le jury de modèles réduit le risque d'erreurs, mais ne remplace pas l'expert, et le seuil de confiance devra être calibré selon votre domaine. L'annonce ne publie aucune mesure de précision ni de gain de temps.

La conclusion pratique est simple. Si vous faites du fine-tuning d'un petit modèle pour une tâche étroite, ou si vous constituez un jeu pour évaluer des agents, il vaut la peine de commencer par une seule tâche : la décrire à l'agent, examiner la spécification et l'échantillon d'essai, et ne passer à l'échelle qu'ensuite. L'intérêt principal ne réside pas dans la génération en tant que telle, mais dans l'intégration du contrôle qualité et de l'intervention humaine au sein du même processus.

Dossier

Questions clés sur cet article

Que sait-on sur Cinq briques à la place d'un pipeline fait maison ?

L'idée d'AWS est d'éviter d'assembler à la main des outils d'annotation, des scripts de génération et des tâches de validation. Chaque fonction travaille séparément, et on peut les enchaîner. L'annotation automatique fonctionne avec un jeu non annoté, avec un petit échantillon annoté servant d'amorce, ou même sans aucune étiquette.

Que sait-on sur à quoi cela ressemble en pratique ?

AWS donne l'exemple d'une équipe qui teste un assistant IA de support. Le manuel indique que la réinitialisation aux paramètres d'usine efface les réglages enregistrés, et il importe que l'assistant n'oublie pas d'en avertir l'utilisateur. L'équipe charge le manuel comme contexte et décrit les questions voulues et les réponses de référence. Puis, avec l'aide de l'agent, elle examine la spécification établie, génère un petit lot d'essai et vérifie les enregistrements par rapport au manuel.

Que sait-on sur Contrôle et limites ?

Le service fonctionne avec un rôle IAM que vous gérez. Les données sources, les jeux générés et les étiquettes se trouvent dans vos buckets S3, dans la région choisie. Les fonctions ne sont disponibles publiquement que dans US East (N. Virginia) et US West (Oregon) : les équipes européennes soumises à des exigences de localisation des données devront donc patienter. AWS recommande elle-même de ne pas rédiger les spécifications à la main, mais de les faire créer par un agent, puis d'en relire le résultat.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…