Fine-tuning

Le fine-tuning est le processus de poursuite de l'entraînement d'un modèle d'IA pré-entraîné sur un jeu de données plus petit et spécifique à une tâche, afin qu'il fonctionne mieux sur cette tâche. Au lieu de construire un modèle à partir de zéro, vous adaptez un modèle existant à votre domaine, votre style ou votre format de sortie.

Le fine-tuning prend un modèle fondation qui comprend déjà le langage et poursuit son entraînement sur un jeu de données étroit — généralement des centaines à des dizaines de milliers d'exemples des entrées et sorties qui vous intéressent. Les poids du modèle se décalent vers votre tâche : rédaction juridique, codage médical, le ton de voix d'une marque ou un format de sortie strict comme JSON.

Il est préférable de l'utiliser lorsque vous avez besoin d'un comportement cohérent, non de connaissances nouvelles. Enseigner un modèle des faits nouveaux via fine-tuning est coûteux et peu fiable — les faits changent et le modèle hallucine toujours. Enseigner un style, un format ou une politique de décision fonctionne bien, car ces motifs se répètent dans les exemples d'entraînement.

En pratique, les équipes comparent trois options : l'ingénierie de prompts (la moins chère, pas d'entraînement), RAG (connaissances fraîches et privées), et fine-tuning (comportement stable à un coût inférieur par requête, puisque les instructions longues se déplacent du prompt vers les poids). Les méthodes efficaces en paramètres comme LoRA rendent le fine-tuning possible même sur un GPU unique.