Amazon SageMaker lance le fine-tuning complet des LLM : 90% de solutions correctes en code
Amazon ajoute à SageMaker AI le fine-tuning complet (FFT). Le modèle est réentraîné dans son intégralité, et non via de petits adaptateurs LoRA, et il n'y a ni GPU ni cluster à configurer. Sur Qwen3-4B et 110 000 paires « tâche — solution » en code, le FFT atteint 90% de solutions correctes, selon l'évaluation du modèle juge Amazon Nova Pro. Si LoRA plafonne sur un gros jeu de données, le FFT peut être testé en changeant une seule ligne dans le SDK. Mais les résultats proviennent d'une seule tâche, et le billet de blog a été rédigé par AWS elle-même.
Traité par IA depuis AWS Machine Learning Blog ; édité par Hamidun News
Imaginons que vous fassiez du fine-tuning d'un petit modèle pour qu'il écrive du code adapté à vos projets. On utilise généralement LoRA : cette méthode ne touche pas aux poids principaux et leur ajoute de petites matrices entraînables, les adaptateurs, ce qui exige peu de mémoire vidéo. Mais sur des tâches complexes et de gros jeux de données, cette approche se heurte à un plafond de qualité.
Amazon propose désormais une issue : le service SageMaker AI Serverless Model Customization accueille le fine-tuning complet (Full Fine-Tuning, FFT), qui met à jour tous les paramètres du modèle. Sur un jeu de 110 000 tâches de programmation, avec 100 000 exemples d'entraînement ou plus, le FFT a obtenu 90% à la métrique LLM-as-Judge : un autre modèle, chargé de juger, a estimé que 90% des solutions étaient logiquement correctes. Il n'y a ni GPU, ni cluster, ni configuration d'entraînement distribué à préparer.
Ce qui distingue le FFT de LoRA
Les entreprises ont deux raisons de recourir au fine-tuning. D'abord, le modèle résout plus précisément une tâche étroite. Ensuite, un petit modèle spécialisé peut égaler, voire surpasser, un grand modèle généraliste sur votre tâche, tout en coûtant nettement moins cher par token. Avec des millions de requêtes, l'écart s'accumule.
LoRA gèle les poids du modèle préentraîné et y ajoute des paires de petites matrices de faible rang. Pour des adaptations simples, cela suffit. Mais selon AWS, quand la tâche se complexifie et que les exemples dépassent plusieurs dizaines de milliers, LoRA atteint un plateau : augmenter le rang, c'est-à-dire le nombre de paramètres entraînables, ne réduit pas l'écart avec le fine-tuning classique.
Les auteurs en concluent que le problème ne tient pas au nombre de paramètres, mais à une « insuffisance de rang » : une mise à jour de faible rang ne parvient pas à rendre toute la complexité des changements de poids. Le FFT modifie les matrices de poids dans leur ensemble, sans les distorsions locales propres aux méthodes de faible rang.
Comment le test a été mené
AWS a pris le modèle de base Qwen3-4B et le jeu de données Magicoder-Evol-Instruct-110K : 110 000 paires « instruction — réponse » portant sur les algorithmes, le débogage, les structures de données et la programmation système. Elles ont été réparties selon la proportion 90/5/5 : 99 mille enregistrements pour l'entraînement, 5,5 mille pour la validation et 5,5 mille de plus comme jeu de test mis de côté. Les deux méthodes ont reçu les mêmes prompts, les mêmes références et le même code d'évaluation.
La qualité a été mesurée de trois façons intégrées :
- LLM-as-Judge : le modèle Amazon Nova Pro lit le prompt et le code généré, puis décide si la solution est correcte ;
- PRIMECODE : comparaison avec le code de référence via les métriques BLEU, ROUGE-1/2/L et F1 ;
- MMLU : test de connaissances générales couvrant 57 matières, qui sert de garde-fou contre l'oubli. Un fine-tuning sur du code peut écraser les capacités générales du modèle, et le MMLU avant et après montre ce qu'il a fallu sacrifier.
Sur le diagramme radar, le modèle de base est systématiquement faible, LoRA nettement meilleur, et le FFT va plus loin sur tous les axes, en particulier sur BLEU et ROUGE-2. Selon les auteurs, cela traduit non pas un avantage sur une seule métrique, mais un effet global de l'optimisation de plein rang.
Que faire de tout cela en pratique
Le service permet d'itérer rapidement sur les configurations. En peu de temps, l'équipe a mené des dizaines d'expériences sur les modèles Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B et Gemma-4-26B, en faisant varier le taux d'apprentissage, la taille de batch, la part de warmup, le nombre d'époques et la taille du jeu de données. Chaque exécution, du lancement aux résultats, prenait quelques heures, et les modèles obtenus étaient automatiquement enregistrés dans SageMaker Model Registry sous forme de packages versionnés.
Basculer d'une méthode à l'autre dans le SDK Python demande une seule modification : dans SFTTrainer, le paramètre TrainingType.FULL est remplacé par TrainingType.LORA, le reste du code demeurant identique. Dans l'exemple pour le FFT, le taux d'apprentissage est de 2e-5, le batch global de 8, avec deux époques et une part de warmup de 0,1. Ce sont des valeurs de départ, pas une recette universelle.
Le taux d'apprentissage est particulièrement important en FFT : il détermine l'ampleur de la mise à jour de chaque poids. Contrairement à LoRA, où seuls de petits adaptateurs changent, une valeur trop élevée en fine-tuning complet efface de façon irréversible les connaissances préentraînées. C'est pourquoi il faut surveiller le MMLU en plus de la métrique cible.
Pour le lecteur, la conclusion est la suivante. Si les données sont peu nombreuses ou la tâche étroite, LoRA reste un point de départ moins coûteux et plus sûr. Si vous disposez d'un grand jeu de données de qualité, d'une tâche complexe et que LoRA a atteint son plafond, le FFT mérite d'être testé. Une réserve : le blog a été rédigé par AWS elle-même, et les résultats ont été obtenus sur une seule tâche, la génération de code. Pour d'autres domaines, il faudra revérifier les chiffres.
- 21 nov. 2026AG-UI 1.0 donne aux agents IA un langage commun pour dialoguer avec l'application : 31 types d'événements
- 21 nov. 2026OpenAI lance ChatGPT Wallet : des agents qui achètent sans jamais voir le numéro de carte
- 21 nov. 2026Les annonceurs américains ont dépensé 70,7 M$ en publicité sur ChatGPT en octobre, soit 127 % de plus qu'en avril
- 21 nov. 2026ONNX Runtime disparu de GitHub : Microsoft a masqué les dépôts après le piratage d'un paquet
Questions clés sur cet article
Que sait-on sur Ce qui distingue le FFT de LoRA ?
Les entreprises ont deux raisons de recourir au fine-tuning. D'abord, le modèle résout plus précisément une tâche étroite. Ensuite, un petit modèle spécialisé peut égaler, voire surpasser, un grand modèle généraliste sur votre tâche, tout en coûtant nettement moins cher par token. Avec des millions de requêtes, l'écart s'accumule. LoRA gèle les poids du modèle préentraîné et y ajoute des paires de petites matrices de faible rang. Pour des adaptations simples, cela suffit.
Comment le test a été mené?
AWS a pris le modèle de base Qwen3-4B et le jeu de données Magicoder-Evol-Instruct-110K : 110 000 paires « instruction — réponse » portant sur les algorithmes, le débogage, les structures de données et la programmation système. Elles ont été réparties selon la proportion 90/5/5 : 99 mille enregistrements pour l'entraînement, 5,5 mille pour la validation et 5,5 mille de plus comme jeu de test mis de côté. Les deux méthodes ont reçu les mêmes prompts, les mêmes références et le même code d'évaluation.
Que sait-on sur Que faire de tout cela en pratique ?
Le service permet d'itérer rapidement sur les configurations. En peu de temps, l'équipe a mené des dizaines d'expériences sur les modèles Qwen3-4B, DeepSeek-R1-1.5B, Nemotron-30B et Gemma-4-26B, en faisant varier le taux d'apprentissage, la taille de batch, la part de warmup, le nombre d'époques et la taille du jeu de données.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.