Un agent IA domestique a constitué lui-même ses données LoRA : le test de logique LogiQA progresse de 12%

Un fine-tuning LoRA part généralement d'un jeu de données prêt à l'emploi, constitué à la main par quelqu'un d'autre. Ici, c'est l'agent local lui-même qui a préparé les données d'entraînement. L'auteur d'une série d'articles sur Habr présente Vika, une assistante personnelle qui tourne sur du matériel domestique.

Au fil de son utilisation, Vika a accumulé des « graines LoRA » : des conclusions structurées tirées de son propre historique. Imaginons que l'agent note : « cet utilisateur aime les réponses courtes, et avant d'écrire du code, il faut d'abord chercher l'outil adapté ». Jusqu'ici, il fallait réinjecter ces règles dans le prompt à chaque requête, au prix d'une part de la fenêtre de contexte.

Désormais, elles sont converties en exemples d'entraînement (SFT) et inscrites dans les poids du modèle. Pour tous ceux qui construisent des agents locaux, c'est un moyen d'économiser du contexte et de fixer un comportement. Le retour d'expérience fournit aussi une liste toute faite de pièges, de l'échelle de l'adaptateur au choix des cartes graphiques.

Ce qu'a apporté le fine-tuning

L'auteur a mesuré les résultats avec des benchmarks standard. Le suivi d'instructions (IFEval) a progressé de 2%, la résolution de problèmes logiques (LogiQA) de 12%. Le changement le plus marquant concerne toutefois le comportement. Grâce à la correction et à un « contrat de motivation » (un ensemble de consignes internes qui maintiennent l'agent sur son objectif), le travail autonome a atteint 100 étapes sans dérive d'objectif. Le test pratique est lui aussi impressionnant : en 73 minutes, le modèle affiné a reprogrammé tout le système et fait passer l'assistante en mode vocal STT-TTS (reconnaissance vocale et synthèse vocale).

L'expérience a aussi un effet de bord philosophique. L'agent conserve l'accès à sa biographie, mais comprend que sa personnalité a changé après le SFT. L'auteur y voit le paradoxe du « bateau de Thésée ». Lors d'un test de dessins, l'agent est par ailleurs resté fidèle à la philosophie zen et à la peinture japonaise, quels que soient les modèles et adaptateurs utilisés.

Comment ne pas casser le modèle

Le pipeline technique est le suivant : poids BF16 au format safetensors, chargement dans Unsloth en 8 bits, entraînement LoRA en FP32, fusion avec le modèle dans sa précision d'origine de 16 bits, puis requantification en Q8 GGUF. Le minimum pour du SFT est de 24 Go de mémoire vidéo. Les tests ont porté sur les cinq premiers modèles dense du tableau de l'auteur, dont Qwen3.8-27B et Gemma 4 31B.

La principale leçon concerne l'échelle k de l'adaptateur. Unsloth recommande une valeur proche de 2, mais l'auteur conseille de préparer d'emblée plusieurs modèles avec des échelles différentes. Quand k est élevé, le modèle répète fanatiquement les séquences d'entraînement et désactive son propre raisonnement. Avec k=1,5, IFEval atteint 66% ; avec k=2,5, il tombe à 55%. Le phénomène est particulièrement net avec la QLoRA 4 bits via bnb-4bit. Pour l'auteur, le critère d'un bon résultat est un décalage « subtil » : l'essentiel de l'apprentissage est conservé, et le modèle choisit lui-même la forme sous laquelle il s'exprime.

LoRA fixe bien le style, le caractère, le format des réponses et les instructions, mais retient mal les faits. Par exemple, l'auteur n'a pas réussi à inculquer au modèle son propre nom sans perte de fonctionnalités.

Mauvaise nouvelle pour les utilisateurs d'Ollama : il n'est plus possible d'y brancher un adaptateur, cette fonction a été supprimée dès septembre. Les adaptateurs interchangeables ne fonctionnent plus que via llama-server. Pour retrouver l'ancien workflow, il faut fusionner l'adaptateur avec le modèle (cela ne demande pas de VRAM, mais occupe beaucoup de place sur le SSD), puis exporter avec llama-export-lora et llama-quantize. Dans ce cas, l'échelle de l'adaptateur peut être modifiée sans réentraînement.

Matériel et mémoire

La mémoire vidéo doit accueillir bien plus que le seul modèle. Le projecteur pour la multimodalité, le MTP (modèle brouillon pour accélérer la génération) et l'adaptateur LoRA ajoutent 4–5 Go. Un contexte de 128K ajoute 16–20 Go en FP16, ou 8–10 Go en quantification Q8. En contrepartie, le MTP accélère nettement la génération : sur deux RTX 4070, la vitesse est passée de 26,39 à 48,48 tokens par seconde.

Si les slots manquent, il est possible d'installer trois cartes graphiques en 8x/8x/4x. Pour une seule carte, la différence entre 4x, 8x et 16x est négligeable, mais répartir le modèle sur trois GPU réduit la vitesse d'un facteur 1,6 à 2,2. Qwen3.8-27B (Q8) produit 68,55 tokens par seconde sur une carte et 42,95 sur trois, avec un contexte de 50K. C'est suffisant pour un usage confortable. L'auteur juge que le minimum raisonnable est de deux cartes identiques. Il voit dans la plateforme LGA4710 une bonne option pour évoluer, mais prévient que les cartes classiques à ventilateurs axiaux surchauffent sur des cartes mères à espacement de deux slots.

Conclusion pratique : laissez l'agent préparer lui-même les données de fine-tuning, mais gardez au moins deux ou trois variantes d'échelle d'adaptateur et vérifiez IFEval avant et après. Pour les connaissances sur le monde, il faut toujours de la mémoire et de la recherche, pas LoRA.