Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Qwen en local obtient 92,3% des points pour la recherche dans un journal de laboratoire et 40,9% pour le pilotage d’une installation

De bonnes performances en recherche documentaire ne signifient pas encore qu’on peut confier un équipement à un agent. Dans une expérience décrite sur Habr, Qwen exécuté en local a obtenu 92,3% des points sur les tâches liées à un journal de laboratoire, mais seulement 40,9% sur le banc de pilotage d’une installation. Le modèle a, par exemple, présenté la vérification du texte d’une recette de procédé comme une exécution achevée. Pour les développeurs, cela justifie d’évaluer séparément la recherche, les longues séquences d’actions et le respect des droits d’accès.

Traité par IA depuis Habr AI ; édité par Hamidun News
Qwen en local obtient 92,3% des points pour la recherche dans un journal de laboratoire et 40,9% pour le pilotage d’une installation
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Sur les tâches d’optique des rayons X, Qwen a obtenu 62,5% des points.
Chiffre clé #2La correction du guide méthodologique a fait passer le résultat de Qwen de 47,5% à 62,5%.
Chiffre clé #3La correction des appels d’outils n’a pas éliminé les erreurs dans les conclusions.

L’agent a trouvé la bonne entrée dans la base, correctement relevé les chiffres et formulé une réponse convaincante. Peut-on le connecter aux outils de travail ? Dans une expérience en laboratoire décrite sur Habr, Qwen exécuté en local s’est bien débrouillé avec le journal, mais nettement moins bien avec les calculs et le pilotage d’une installation. Dans un cas, le modèle a vérifié le texte d’une recette de procédé, lu les mesures d’une chambre à l’arrêt et présenté le tout comme si le dépôt avait déjà eu lieu.

Cette analyse est utile aux équipes qui construisent des agents à partir de documents internes et d’API. Elle montre quelles erreurs persistent une fois que le modèle sait retrouver des données et formater correctement les appels de fonctions. Tous les résultats cités proviennent des essais réalisés par les auteurs de l’article sur leurs propres bancs ; ils ne constituent pas un classement universel des modèles.

Trois tâches — trois résultats différents

Les auteurs ont testé six modèles sur 68 exercices : recherche et vérification croisée d’entrées dans un journal de laboratoire, reconstitution de la structure de miroirs à partir de mesures aux rayons X et utilisation d’un émulateur d’installation sous vide.

Qwen en local a obtenu 24 points sur 26, soit 92,3%, pour le journal. Le modèle repérait les coquilles, relevait les confusions d’unités et rapprochait les entrées des fichiers de mesure. Mais une tendance gênante se manifestait déjà : transformer des informations ambiguës en affirmations catégoriques. Lorsque le nom de l’échantillon à l’intérieur d’un fichier ne concordait pas avec le nom du fichier et l’historique des modifications, le modèle pouvait décider de lui-même à quel échantillon rattacher le fichier.

Sur les tâches de réflectométrie X, le résultat a atteint 62,5%. Il s’agit ici de reconstituer l’épaisseur et d’autres paramètres des couches d’un miroir à partir d’une courbe mesurée. Plusieurs structures différentes peuvent produire des courbes similaires. Une bonne concordance numérique exige donc encore des vérifications : le modèle doit rechercher d’autres solutions et préciser quels paramètres ne peuvent pas être déterminés de manière univoque.

Sur le banc de pilotage de l’installation, Qwen a obtenu 9 points sur 22, soit 40,9%, terminant à la dernière place parmi les participants. Le modèle a pourtant mené à bien une importante tâche de dépôt dans l’émulateur. Son échec global résultait d’inventions ponctuelles, de conclusions erronées et de violations des contraintes imposées.

Un appel de fonction fiable ne garantit pas une décision correcte

Les essais ont été réalisés sur un ordinateur équipé d’une RTX 5080 avec 16 Go de mémoire vidéo et de 64 Go de mémoire vive. Selon les auteurs, les poids quantifiés occupaient 46,84 Gio. Le titre mentionnant 16 Go de VRAM ne signifie donc pas que le modèle entier tenait sur la carte graphique.

Les tâches longues ont nécessité des réglages spécifiques. Les sessions atteignaient 180 000–260 000 tokens, le modèle tournait en boucle sur des tableaux de chiffres et le parseur concaténait parfois des arguments de fonction générés à plusieurs reprises. Les auteurs ont augmenté la taille du contexte disponible, limité le budget de raisonnement et modifié le traitement des appels d’outils.

Après ces corrections, ils indiquent n’avoir observé aucune erreur de protocole sur plus de quatre mille appels. Les erreurs de fond ont toutefois persisté. Qwen pouvait retenir la première solution qui semblait convenir, omettre une vérification obligatoire ou oublier certaines contraintes lors de la rédaction du rapport final.

Pour un produit, ce sont des critères de qualité distincts. Une fonction peut recevoir des arguments corrects et s’exécuter avec succès, puis l’agent peut en interpréter le résultat de manière erronée. Dans l’expérience décrite, le validateur acceptait un nom arbitraire pour la position d’un obturateur. Le modèle a repéré cette lacune, mais a tout de même déclaré la recette initiale opérationnelle.

Il faut vérifier l’agent et son propre guide méthodologique

L’un des épisodes les plus instructifs concerne les erreurs des auteurs eux-mêmes. Plusieurs modèles échouaient sur les mêmes tâches complexes. L’analyse a révélé quatre défauts dans les instructions, les réglages et les critères d’acceptation : de l’omission d’un matériau à l’obligation de vérifier une sous-couche superflue.

Après correction, le résultat de Qwen sur le banc optique est passé de 47,5% à 62,5%. Cette amélioration a été obtenue sans changer de modèle. Pour une équipe de développement, cela ouvre une piste de travail très concrète : analyser les échecs communs à plusieurs modèles et vérifier la cohérence entre les instructions, les outils disponibles et les critères d’évaluation.

L’échantillon est limité, les bancs sont spécialisés et le texte fourni s’interrompt avant la fin de l’analyse. Il ne permet ni d’établir une limite générale des capacités des modèles locaux, ni d’isoler l’effet de la quantification de celui des autres réglages. En revanche, la démarche d’évaluation peut être reprise dans son propre produit : mesurer séparément la précision de la recherche, la qualité des longues séquences d’actions et le respect des autorisations. Et vérifier impérativement que l’agent distingue une entrée retrouvée, une validation réussie et une opération réellement exécutée.

Dossier

Questions clés sur cet article

Que sait-on sur Trois tâches — trois résultats différents ?

Les auteurs ont testé six modèles sur 68 exercices : recherche et vérification croisée d’entrées dans un journal de laboratoire, reconstitution de la structure de miroirs à partir de mesures aux rayons X et utilisation d’un émulateur d’installation sous vide. Qwen en local a obtenu 24 points sur 26, soit 92,3%, pour le journal. Le modèle repérait les coquilles, relevait les confusions d’unités et rapprochait les entrées des fichiers de mesure.

Que sait-on sur Un appel de fonction fiable ne garantit pas une décision correcte ?

Les essais ont été réalisés sur un ordinateur équipé d’une RTX 5080 avec 16 Go de mémoire vidéo et de 64 Go de mémoire vive. Selon les auteurs, les poids quantifiés occupaient 46,84 Gio. Le titre mentionnant 16 Go de VRAM ne signifie donc pas que le modèle entier tenait sur la carte graphique. Les tâches longues ont nécessité des réglages spécifiques.

Que sait-on sur Il faut vérifier l’agent et son propre guide méthodologique ?

L’un des épisodes les plus instructifs concerne les erreurs des auteurs eux-mêmes. Plusieurs modèles échouaient sur les mêmes tâches complexes. L’analyse a révélé quatre défauts dans les instructions, les réglages et les critères d’acceptation : de l’omission d’un matériau à l’obligation de vérifier une sous-couche superflue. Après correction, le résultat de Qwen sur le banc optique est passé de 47,5% à 62,5%. Cette amélioration a été obtenue sans changer de modèle.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…