Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
InfrastructureCode / SDK · Prêt à l'emploiAWS Machine Learning Blog→ original

Amazon SageMaker lance le fine-tuning complet des LLM : 90% de solutions correctes en code

Amazon ajoute à SageMaker AI le fine-tuning complet (FFT). Le modèle est réentraîné dans son intégralité, et non via de petits adaptateurs LoRA, et il n'y a ni GPU ni cluster à configurer. Sur Qwen3-4B et 110 000 paires « tâche — solution » en code, le FFT atteint 90% de solutions correctes, selon l'évaluation du modèle juge Amazon Nova Pro. Si LoRA plafonne sur un gros jeu de données, le FFT peut être testé en changeant une seule ligne dans le SDK. Mais les résultats proviennent d'une seule tâche, et le billet de blog a été rédigé par AWS elle-même.

Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Amazon SageMaker lance le fine-tuning complet des LLM : 90% de solutions correctes en code
Source : AWS Machine Learning Blog. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireAWS Machine Learning Blog ↗
Rédacteur en chef
Chiffre clé #1Passer du FFT à LoRA dans le SDK tient en une ligne : TrainingType.FULL → LORA
Chiffre clé #2Jeu de données Magicoder-Evol-Instruct-110K : 99 mille exemples pour l'entraînement, 5,5 mille pour la validation et 5,5 mille pour le test
Chiffre clé #3Une expérience, du lancement à l'évaluation, prenait quelques heures

Imaginons que vous fassiez du fine-tuning d'un petit modèle pour qu'il écrive du code adapté à vos projets. On utilise généralement LoRA : cette méthode ne touche pas aux poids principaux et leur ajoute de petites matrices entraînables, les adaptateurs, ce qui exige peu de mémoire vidéo. Mais sur des tâches complexes et de gros jeux de données, cette approche se heurte à un plafond de qualité.

Amazon propose désormais une issue : le service SageMaker AI Serverless Model Customization accueille le fine-tuning complet (Full Fine-Tuning, FFT), qui met à jour tous les paramètres du modèle. Sur un jeu de 110 000 tâches de programmation, avec 100 000 exemples d'entraînement ou plus, le FFT a obtenu 90% à la métrique LLM-as-Judge : un autre modèle, chargé de juger, a estimé que 90% des solutions étaient logiquement correctes. Il n'y a ni GPU, ni cluster, ni configuration d'entraînement distribué à préparer.

Ce qui distingue le FFT de LoRA

Les entreprises ont deux raisons de recourir au fine-tuning. D'abord, le modèle résout plus précisément une tâche étroite. Ensuite, un petit modèle spécialisé peut égaler, voire surpasser, un grand modèle généraliste sur votre tâche, tout en coûtant nettement moins cher par token. Avec des millions de requêtes, l'écart s'accumule.

LoRA gèle les poids du modèle préentraîné et y ajoute des paires de petites matrices de faible rang. Pour des adaptations simples, cela suffit. Mais selon AWS, quand la tâche se complexifie et que les exemples dépassent plusieurs dizaines de milliers, LoRA atteint un plateau : augmenter le rang, c'est-à-dire le nombre de paramètres entraînables, ne réduit pas l'écart avec le fine-tuning classique.

Les auteurs en concluent que le problème ne tient pas au nombre de paramètres, mais à une « insuffisance de rang » : une mise à jour de faible rang ne parvient pas à rendre toute la complexité des changements de poids. Le FFT modifie les matrices de poids dans leur ensemble, sans les distorsions locales propres aux méthodes de faible rang.

Comment le test a été mené

AWS a pris le modèle de base Qwen3-4B et le jeu de données Magicoder-Evol-Instruct-110K : 110 000 paires « instruction — réponse » portant sur les algorithmes, le débogage, les structures de données et la programmation système. Elles ont été réparties selon la proportion 90/5/5 : 99 mille enregistrements pour l'entraînement, 5,5 mille pour la validation et 5,5 mille de plus comme jeu de test mis de côté. Les deux méthodes ont reçu les mêmes prompts, les mêmes références et le même code d'évaluation.

La qualité a été mesurée de trois façons intégrées :

  • LLM-as-Judge : le modèle Amazon Nova Pro lit le prompt et le code généré, puis décide si la solution est correcte ;
  • PRIMECODE : comparaison avec le code de référence via les métriques BLEU, ROUGE-1/2/L et F1 ;
  • MMLU : test de connaissances générales couvrant 57 matières, qui sert de garde-fou contre l'oubli. Un fine-tuning sur du code peut écraser les capacités générales du modèle, et le MMLU avant et après montre ce qu'il a fallu sacrifier.

Sur le diagramme radar, le modèle de base est systématiquement faible, LoRA nettement meilleur, et le FFT va plus loin sur tous les axes, en particulier sur BLEU et ROUGE-2. Selon les auteurs, cela traduit non pas un avantage sur une seule métrique, mais un effet global de l'optimisation de plein rang.

Que faire de tout cela en pratique

Le service permet d'itérer rapidement sur les configurations. En peu de temps, l'équipe a mené des dizaines d'expériences sur les modèles Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B et Gemma-4-26B, en faisant varier le taux d'apprentissage, la taille de batch, la part de warmup, le nombre d'époques et la taille du jeu de données. Chaque exécution, du lancement aux résultats, prenait quelques heures, et les modèles obtenus étaient automatiquement enregistrés dans SageMaker Model Registry sous forme de packages versionnés.

Basculer d'une méthode à l'autre dans le SDK Python demande une seule modification : dans SFTTrainer, le paramètre TrainingType.FULL est remplacé par TrainingType.LORA, le reste du code demeurant identique. Dans l'exemple pour le FFT, le taux d'apprentissage est de 2e-5, le batch global de 8, avec deux époques et une part de warmup de 0,1. Ce sont des valeurs de départ, pas une recette universelle.

Le taux d'apprentissage est particulièrement important en FFT : il détermine l'ampleur de la mise à jour de chaque poids. Contrairement à LoRA, où seuls de petits adaptateurs changent, une valeur trop élevée en fine-tuning complet efface de façon irréversible les connaissances préentraînées. C'est pourquoi il faut surveiller le MMLU en plus de la métrique cible.

Pour le lecteur, la conclusion est la suivante. Si les données sont peu nombreuses ou la tâche étroite, LoRA reste un point de départ moins coûteux et plus sûr. Si vous disposez d'un grand jeu de données de qualité, d'une tâche complexe et que LoRA a atteint son plafond, le FFT mérite d'être testé. Une réserve : le blog a été rédigé par AWS elle-même, et les résultats ont été obtenus sur une seule tâche, la génération de code. Pour d'autres domaines, il faudra revérifier les chiffres.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui distingue le FFT de LoRA ?

Les entreprises ont deux raisons de recourir au fine-tuning. D'abord, le modèle résout plus précisément une tâche étroite. Ensuite, un petit modèle spécialisé peut égaler, voire surpasser, un grand modèle généraliste sur votre tâche, tout en coûtant nettement moins cher par token. Avec des millions de requêtes, l'écart s'accumule. LoRA gèle les poids du modèle préentraîné et y ajoute des paires de petites matrices de faible rang. Pour des adaptations simples, cela suffit.

Comment le test a été mené?

AWS a pris le modèle de base Qwen3-4B et le jeu de données Magicoder-Evol-Instruct-110K : 110 000 paires « instruction — réponse » portant sur les algorithmes, le débogage, les structures de données et la programmation système. Elles ont été réparties selon la proportion 90/5/5 : 99 mille enregistrements pour l'entraînement, 5,5 mille pour la validation et 5,5 mille de plus comme jeu de test mis de côté. Les deux méthodes ont reçu les mêmes prompts, les mêmes références et le même code d'évaluation.

Que sait-on sur Que faire de tout cela en pratique ?

Le service permet d'itérer rapidement sur les configurations. En peu de temps, l'équipe a mené des dizaines d'expériences sur les modèles Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B et Gemma-4-26B, en faisant varier le taux d'apprentissage, la taille de batch, la part de warmup, le nombre d'époques et la taille du jeu de données.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…