Qwen en local obtient 92,3% des points pour la recherche dans un journal de laboratoire et 40,9% pour le pilotage d’une installation
De bonnes performances en recherche documentaire ne signifient pas encore qu’on peut confier un équipement à un agent. Dans une expérience décrite sur Habr, Qwen exécuté en local a obtenu 92,3% des points sur les tâches liées à un journal de laboratoire, mais seulement 40,9% sur le banc de pilotage d’une installation. Le modèle a, par exemple, présenté la vérification du texte d’une recette de procédé comme une exécution achevée. Pour les développeurs, cela justifie d’évaluer séparément la recherche, les longues séquences d’actions et le respect des droits d’accès.
Traité par IA depuis Habr AI ; édité par Hamidun News
L’agent a trouvé la bonne entrée dans la base, correctement relevé les chiffres et formulé une réponse convaincante. Peut-on le connecter aux outils de travail ? Dans une expérience en laboratoire décrite sur Habr, Qwen exécuté en local s’est bien débrouillé avec le journal, mais nettement moins bien avec les calculs et le pilotage d’une installation. Dans un cas, le modèle a vérifié le texte d’une recette de procédé, lu les mesures d’une chambre à l’arrêt et présenté le tout comme si le dépôt avait déjà eu lieu.
Cette analyse est utile aux équipes qui construisent des agents à partir de documents internes et d’API. Elle montre quelles erreurs persistent une fois que le modèle sait retrouver des données et formater correctement les appels de fonctions. Tous les résultats cités proviennent des essais réalisés par les auteurs de l’article sur leurs propres bancs ; ils ne constituent pas un classement universel des modèles.
Trois tâches — trois résultats différents
Les auteurs ont testé six modèles sur 68 exercices : recherche et vérification croisée d’entrées dans un journal de laboratoire, reconstitution de la structure de miroirs à partir de mesures aux rayons X et utilisation d’un émulateur d’installation sous vide.
Qwen en local a obtenu 24 points sur 26, soit 92,3%, pour le journal. Le modèle repérait les coquilles, relevait les confusions d’unités et rapprochait les entrées des fichiers de mesure. Mais une tendance gênante se manifestait déjà : transformer des informations ambiguës en affirmations catégoriques. Lorsque le nom de l’échantillon à l’intérieur d’un fichier ne concordait pas avec le nom du fichier et l’historique des modifications, le modèle pouvait décider de lui-même à quel échantillon rattacher le fichier.
Sur les tâches de réflectométrie X, le résultat a atteint 62,5%. Il s’agit ici de reconstituer l’épaisseur et d’autres paramètres des couches d’un miroir à partir d’une courbe mesurée. Plusieurs structures différentes peuvent produire des courbes similaires. Une bonne concordance numérique exige donc encore des vérifications : le modèle doit rechercher d’autres solutions et préciser quels paramètres ne peuvent pas être déterminés de manière univoque.
Sur le banc de pilotage de l’installation, Qwen a obtenu 9 points sur 22, soit 40,9%, terminant à la dernière place parmi les participants. Le modèle a pourtant mené à bien une importante tâche de dépôt dans l’émulateur. Son échec global résultait d’inventions ponctuelles, de conclusions erronées et de violations des contraintes imposées.
Un appel de fonction fiable ne garantit pas une décision correcte
Les essais ont été réalisés sur un ordinateur équipé d’une RTX 5080 avec 16 Go de mémoire vidéo et de 64 Go de mémoire vive. Selon les auteurs, les poids quantifiés occupaient 46,84 Gio. Le titre mentionnant 16 Go de VRAM ne signifie donc pas que le modèle entier tenait sur la carte graphique.
Les tâches longues ont nécessité des réglages spécifiques. Les sessions atteignaient 180 000–260 000 tokens, le modèle tournait en boucle sur des tableaux de chiffres et le parseur concaténait parfois des arguments de fonction générés à plusieurs reprises. Les auteurs ont augmenté la taille du contexte disponible, limité le budget de raisonnement et modifié le traitement des appels d’outils.
Après ces corrections, ils indiquent n’avoir observé aucune erreur de protocole sur plus de quatre mille appels. Les erreurs de fond ont toutefois persisté. Qwen pouvait retenir la première solution qui semblait convenir, omettre une vérification obligatoire ou oublier certaines contraintes lors de la rédaction du rapport final.
Pour un produit, ce sont des critères de qualité distincts. Une fonction peut recevoir des arguments corrects et s’exécuter avec succès, puis l’agent peut en interpréter le résultat de manière erronée. Dans l’expérience décrite, le validateur acceptait un nom arbitraire pour la position d’un obturateur. Le modèle a repéré cette lacune, mais a tout de même déclaré la recette initiale opérationnelle.
Il faut vérifier l’agent et son propre guide méthodologique
L’un des épisodes les plus instructifs concerne les erreurs des auteurs eux-mêmes. Plusieurs modèles échouaient sur les mêmes tâches complexes. L’analyse a révélé quatre défauts dans les instructions, les réglages et les critères d’acceptation : de l’omission d’un matériau à l’obligation de vérifier une sous-couche superflue.
Après correction, le résultat de Qwen sur le banc optique est passé de 47,5% à 62,5%. Cette amélioration a été obtenue sans changer de modèle. Pour une équipe de développement, cela ouvre une piste de travail très concrète : analyser les échecs communs à plusieurs modèles et vérifier la cohérence entre les instructions, les outils disponibles et les critères d’évaluation.
L’échantillon est limité, les bancs sont spécialisés et le texte fourni s’interrompt avant la fin de l’analyse. Il ne permet ni d’établir une limite générale des capacités des modèles locaux, ni d’isoler l’effet de la quantification de celui des autres réglages. En revanche, la démarche d’évaluation peut être reprise dans son propre produit : mesurer séparément la précision de la recherche, la qualité des longues séquences d’actions et le respect des autorisations. Et vérifier impérativement que l’agent distingue une entrée retrouvée, une validation réussie et une opération réellement exécutée.
- 12 nov. 2026Huit pays, OpenAI et Anthropic promettent un « interrupteur d'arrêt » pour les modèles d'IA, mais sans échéances ni sanctions
- 12 nov. 2026Anthropic ferme Claude aux entreprises sous contrôle russe à partir du 12 novembre
- 12 nov. 2026n8n lance Nod, un agent open source qui tourne sur votre ordinateur
- 12 nov. 2026Hugging Face prévient : la vague de piratages pourrait rendre l'IA open source moins ouverte
Questions clés sur cet article
Que sait-on sur Trois tâches — trois résultats différents ?
Les auteurs ont testé six modèles sur 68 exercices : recherche et vérification croisée d’entrées dans un journal de laboratoire, reconstitution de la structure de miroirs à partir de mesures aux rayons X et utilisation d’un émulateur d’installation sous vide. Qwen en local a obtenu 24 points sur 26, soit 92,3%, pour le journal. Le modèle repérait les coquilles, relevait les confusions d’unités et rapprochait les entrées des fichiers de mesure.
Que sait-on sur Un appel de fonction fiable ne garantit pas une décision correcte ?
Les essais ont été réalisés sur un ordinateur équipé d’une RTX 5080 avec 16 Go de mémoire vidéo et de 64 Go de mémoire vive. Selon les auteurs, les poids quantifiés occupaient 46,84 Gio. Le titre mentionnant 16 Go de VRAM ne signifie donc pas que le modèle entier tenait sur la carte graphique. Les tâches longues ont nécessité des réglages spécifiques.
Que sait-on sur Il faut vérifier l’agent et son propre guide méthodologique ?
L’un des épisodes les plus instructifs concerne les erreurs des auteurs eux-mêmes. Plusieurs modèles échouaient sur les mêmes tâches complexes. L’analyse a révélé quatre défauts dans les instructions, les réglages et les critères d’acceptation : de l’omission d’un matériau à l’obligation de vérifier une sous-couche superflue. Après correction, le résultat de Qwen sur le banc optique est passé de 47,5% à 62,5%. Cette amélioration a été obtenue sans changer de modèle.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.