Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Qwen3-0.6B affinée sur un Mac mini : les erreurs passent de 9 à 3 sur 30 réponses

Le minuscule Qwen3-0.6B répond aux questions sur le blog directement dans le navigateur, mais il inventait auparavant des détails absents des fragments trouvés. Après un affinage sur un Mac mini M4 pendant 1 heure 20 minutes, le nombre de réponses erronées sur 30 questions est tombé à 3 contre 9, et les réponses correctes sont passées de 17 à 16. Sur 15 questions hors sujet, le modèle a honnêtement refusé de répondre. Pour un petit modèle, il vaut mieux apprendre à donner des réponses courtes fondées sur le texte plutôt qu'à paraphraser.

Traité par IA depuis Habr AI ; édité par Hamidun News
Qwen3-0.6B affinée sur un Mac mini : les erreurs passent de 9 à 3 sur 30 réponses
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Entraînement4500 exemples générés par Claude Opus, une époque, LoRA
La version v1 s'est dégradée8 réponses correctes sur 30 au lieu de 17
Chiffre clé #3L'erreur sur les données de validation diminuait, tandis que les réponses correctes tombaient à 18, 11, 9

Imaginez une recherche sur votre blog ou votre documentation : le système trouve quatre passages pertinents, et un petit modèle de langage, directement dans le navigateur, doit y répondre brièvement. C'est pratique : pas besoin de serveur, pas besoin de payer des tokens. Mais le modèle de 0,6 milliard de paramètres (il s'agit de Qwen3-0.

6B) invente souvent des détails qui ne figurent pas dans les passages. Le développeur a voulu vérifier si un affinage pouvait corriger le problème. Résultat : sur 30 questions dont la réponse figure dans le blog, les réponses erronées sont passées de 9 à 3.

Les réponses conformes à la source sont au nombre de 16 contre 17 pour le modèle initial, et sur les 15 questions hors sujet, le modèle a refusé de répondre. Le plus instructif dans cette histoire, c'est le chemin parcouru : sur quatre tentatives, trois ont échoué.

Comment fonctionne l'expérience

Le modèle reçoit un court prompt système, quatre passages numérotés issus de la recherche sémantique, et une question. La réponse doit tenir en deux phrases au maximum et s'appuyer uniquement sur ces passages. Si l'information n'y figure pas, le modèle doit indiquer que le blog ne semble pas traiter le sujet.

Le jeu d'évaluation comptait 45 questions : 30 dont la réponse figure dans le blog et 15 sans réponse possible. Entraîner le modèle sur les propres articles de l'auteur aurait relevé de la triche, d'autant qu'ils ne sont que 16. Il a donc utilisé 2193 documents techniques sous licence libre : le blog de Go, le blog de Rust, les RFC de Rust et les PEP de Python.

Ces documents ont été découpés en passages et indexés avec des embeddings, exactement comme sur le site, afin que le modèle s'habitue au bruit réel de la recherche. Parfois la réponse se trouve dans le premier passage, parfois dans le quatrième, et parfois un texte presque identique d'une autre publication figure à côté.

Les questions ont été rédigées par Claude. Dans certains cas, la réponse était parmi les passages retrouvés ; dans d'autres, le document source était retiré pour que le modèle apprenne à refuser. On trouvait aussi des « quasi-correspondances » : des questions proches du thème, auxquelles les passages ne répondent pas.

Les réponses ont ensuite été rédigées par Claude Opus. Il s'agit de distillation : un grand modèle montre le comportement, un petit modèle le reproduit. L'entraînement a utilisé LoRA et la bibliothèque mlx-lm sur un Mac mini équipé d'une puce M4 et de 24 Go de mémoire : une époque sur 4500 exemples a pris environ 1 heure 20 minutes.

Chaque version a été comparée au modèle initial exporté dans le même format 4 bits, si bien que seul l'affinage variait.

Trois échecs avant le résultat

La première version a fait pire que le modèle de base : seulement 8 réponses sur 30 s'appuyaient sur la source, contre 17. En revanche, aucune réponse inventée n'apparaissait sur les questions hors sujet. Le modèle avait adopté deux habitudes d'Opus.

La première : ajouter des réserves du type « le blog ne donne pas de détails à ce sujet ». Elles figuraient dans environ 10 % des réponses d'entraînement, mais le modèle affiné en produisait presque une fois sur trois, souvent là où l'information se trouvait pourtant dans les passages. La seconde : entasser un maximum de détails dans la réponse.

Ainsi, « king » et « queen », deux termes proches dans l'article, sont devenus « king » et « bicycle », présentés comme voisins.

Dans la deuxième version, les réserves ont été supprimées par un script, mais il n'y avait plus que 9 réponses correctes sur 30. Le plus révélateur tient aux points de contrôle enregistrés après un quart, la moitié et la totalité de l'époque. L'erreur sur les données de validation (validation loss) diminuait à chaque étape, ce qui signifie que le modèle copiait de plus en plus fidèlement les mots d'Opus. Mais les réponses correctes sur les questions du blog diminuaient : 18, 11, puis 9. Un modèle de cette taille reproduit la forme d'une réponse riche sans en reproduire le fond, et plus il copie bien, plus il s'embrouille.

Dans la troisième version, les questions et les passages sont restés identiques, mais les réponses ont été réécrites : une seule phrase courte, contenant le fait, formulée au plus près de la source. Pas de fusion de faits issus de passages différents, pas de commentaire sur l'absence d'information. La longueur moyenne des réponses est passée de 180 à 123 caractères.

Résultat : 16 réponses sur 30 correspondent à la source (contre 17, un écart d'une seule réponse qui reste dans le bruit statistique) et les erreurs tombent à 3 contre 9. Par exemple, à la question sur la carte graphique nécessaire pour Llama 70B, le modèle de base a produit un paragraphe de conseils en s'appuyant sur des passages consacrés aux embeddings et aux agents IA, alors que le modèle affiné a refusé. Le prix de cette prudence : sur 11 questions sur 30 dont la réponse figure pourtant dans le blog, il affirme que le sujet n'est pas traité, contre 4 cas pour le modèle de base.

Pour une page de recherche où les passages sont visibles sous la réponse, c'est un compromis raisonnable : quelques secondes de lecture en plus valent mieux qu'une contre-vérité assurée.

La quatrième version a ajouté 1200 questions générales du type « Que dit le blog sur X ? » afin de réduire les refus injustifiés. Le nombre de réponses correctes est tombé à 13 sur 30, soit moins que dans la troisième version.

Ce qu'il faut retenir

  • Un petit modèle imite plus facilement le style des exemples qu'il n'acquiert la capacité qui le sous-tend. N'entraînez-le que sur ce qu'il peut reproduire par le fond.
  • Ne vous fiez pas à la validation loss. Évaluez les points de contrôle sur votre tâche réelle.
  • Confiez aux petits modèles l'extraction d'un fait précis, et non la synthèse de plusieurs sources.
  • Des données d'entraînement générées sans soin produiront un comportement différent de celui que vous attendiez.

L'auteur a publié en accès libre le modèle, le jeu de données et le code. Charger le modèle dans le navigateur demande désormais moins de données qu'avec le modèle initial.

Les limites doivent aussi être gardées à l'esprit. Trente questions ne suffisent pas pour tirer des conclusions statistiques, et la baisse des erreurs de 9 à 3 ne saurait constituer un résultat scientifique. Les réponses ont été évaluées par la même famille de modèles Claude que celle qui a rédigé les exemples d'entraînement : l'évaluateur pouvait donc privilégier un style qui lui est familier. Si vous reprenez cette approche pour votre propre documentation, adaptez le prompt et la formule de refus à votre domaine, puis regénérez les réponses.

Dossier

Questions clés sur cet article

Comment fonctionne l'expérience?

Le modèle reçoit un court prompt système, quatre passages numérotés issus de la recherche sémantique, et une question. La réponse doit tenir en deux phrases au maximum et s'appuyer uniquement sur ces passages. Si l'information n'y figure pas, le modèle doit indiquer que le blog ne semble pas traiter le sujet. Le jeu d'évaluation comptait 45 questions : 30 dont la réponse figure dans le blog et 15 sans réponse possible.

Que sait-on sur Trois échecs avant le résultat ?

La première version a fait pire que le modèle de base : seulement 8 réponses sur 30 s'appuyaient sur la source, contre 17. En revanche, aucune réponse inventée n'apparaissait sur les questions hors sujet. Le modèle avait adopté deux habitudes d'Opus. La première : ajouter des réserves du type « le blog ne donne pas de détails à ce sujet ».

Que sait-on sur Ce qu'il faut retenir ?

Un petit modèle imite plus facilement le style des exemples qu'il n'acquiert la capacité qui le sous-tend. N'entraînez-le que sur ce qu'il peut reproduire par le fond. Ne vous fiez pas à la validation loss. Évaluez les points de contrôle sur votre tâche réelle. Confiez aux petits modèles l'extraction d'un fait précis, et non la synthèse de plusieurs sources. Des données d'entraînement générées sans soin produiront un comportement différent de celui que vous attendiez.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…