Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

CogAlign apprend à Qwen3-VL-4B à choisir l'intrus comme les humains : 53% → 57% de concordance

Le réseau de neurones reconnaît aussi bien une souricière, une boîte d'allumettes qu'un oryctérope, mais il choisit l'objet « intrus » autrement qu'un humain. En réponse directe, Qwen3-VL ne concorde avec les humains que dans 37–41% des cas, pour 33% au hasard. La méthode CogAlign apprend au modèle les critères sur lesquels les humains s'appuient (66 dimensions sémantiques tirées de 4,7 millions de réponses) et fait passer la concordance de Qwen3-VL-4B de 53,37% à 56,81%. Inclure la liste de ces mêmes critères dans le prompt n'a pas aidé : il faut des exemples accompagnés d'une explication détaillée.

Traité par IA depuis Habr AI ; édité par Hamidun News
CogAlign apprend à Qwen3-VL-4B à choisir l'intrus comme les humains : 53% → 57% de concordance
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1La liste de 66 critères dans le prompt donne 52,70%, contre 53,37% sans elle
Chiffre clé #2Centaur, avec 70 milliards de paramètres, obtient 51,96%, soit moins que les trois Qwen3-VL
Chiffre clé #3Sur MMBench, la précision du 4B recule de 82,96% à 81,39%

Montrez à une personne une souricière, une boîte d'allumettes et un oryctérope : en quelques secondes, elle désignera l'oryctérope comme intrus, car deux objets sont fabriqués par l'homme et le troisième est vivant. Un réseau de neurones multimodal, c'est-à-dire un modèle qui traite à la fois les images et le texte, reconnaît les trois objets, mais peut choisir l'intrus selon un tout autre critère. Dans le test des chercheurs, les modèles de la famille Qwen3-VL ne concordaient avec le choix humain que dans 37–41% des cas en réponse directe, alors qu'un tirage aléatoire sur une tâche à trois options donne 33,3%.

La méthode CogAlign, dont il est question ici, affine le modèle sur les critères que les humains utilisent pour choisir. Résultat : la part de concordance avec les humains de Qwen3-VL-4B passe de 53,37% (chaîne de raisonnement classique) à 56,81%. Pour les développeurs, c'est un signal : si un produit regroupe des articles, modère des images ou cherche des contenus similaires, un modèle qui « voit » le monde autrement que l'utilisateur se trompera là où tout semble évident à un humain.

Pourquoi le réglage classique ne résout pas le problème

On « aligne » généralement les modèles (alignment) avec le RLHF, où des humains notent les réponses et où ces notes servent à entraîner un modèle de récompense distinct, ou avec le DPO, où le modèle apprend directement à partir de paires composées d'une réponse retenue et d'une réponse rejetée. Cela déshabitue efficacement le bot d'être grossier et l'habitue à un format soigné. Mais la concordance de la réponse finale avec celle d'un humain ne dit rien du chemin qui y mène.

Le modèle a pu remarquer que deux objets sont en métal. Il a aussi pu simplement deviner, parce que des images similaires apparaissaient plus souvent dans un certain contexte dans les données d'entraînement. Les auteurs de l'étude Aligning MLLMs with the Latent Structure of Human Cognition proposent d'apprendre au modèle non seulement la réponse, mais aussi la raison du choix.

D'où viennent les 66 critères

La base est le projet THINGS : 1854 concepts d'objets réels et une vaste expérience au format « odd-one-out » (le « troisième intrus »). On montrait trois images à des participants, en leur demandant de choisir celle qui ressemble le moins aux deux autres. L'expérience a réuni environ 4,7 millions de jugements humains.

L'algorithme SPoSE a placé les objets dans un espace multidimensionnel et en a extrait 66 dimensions compréhensibles par l'humain : nourriture, animaux, textile, électronique, transport, plantes, objets ronds, choses duveteuses et douces, armes et danger, médecine. La souricière obtient un score élevé sur la dimension « métallique ou artificiel », l'oryctérope sur la dimension « animal ». Ce ne sont pas 66 interrupteurs dans le cerveau, mais un modèle mathématique construit à partir des réponses de personnes.

Comment fonctionne l'entraînement

CogAlign procède en trois étapes. D'abord, pour chaque triplet d'images, la méthode Jackknife retire une dimension à la fois et observe comment évolue la probabilité que la paire restante soit la plus similaire. La dimension à l'effet le plus fort devient le critère principal, par exemple « fabriqué par l'homme ».

Ensuite, un LLM classique transforme ce critère en explication cohérente ; il ne cherche pas la bonne réponse, il reçoit un critère déjà établi. Enfin, le modèle multimodal est affiné sur ces exemples prêts à l'emploi (SFT). Le jeu de données comprend 309 329 exemples : environ 80 000 tâches cognitives THINGS, le reste couvrant la reconnaissance d'images, le storytelling, la recherche de différences et d'autres tâches, afin que le modèle ne devienne pas un spécialiste étroit de la recherche d'intrus.

Résultats et écueils

L'évaluation a porté sur 453 642 triplets d'images. Pour Qwen3-VL-4B, la concordance atteint 41,48% en réponse directe, 53,37% avec une chaîne de raisonnement classique et 56,81% après CogAlign. Pour le 8B, les chiffres sont 40,46%, 52,28% et 56,99%. Pour le 30B-A3B, à architecture Mixture of Experts : 37,09%, 55,38% et 56,21%. Le modèle spécialisé Centaur, avec 70 milliards de paramètres et entraîné sur des données de comportement humain, obtient 51,96% ; les trois Qwen3-VL le dépassent après CogAlign. Sur un échantillon d'environ 75,6 mille tâches, Qwen2.5-VL-7B passe de 56,63% à 59,29%, et Gemma3-12B de 55,77% à 57,28%.

Le résultat le plus utile en pratique concerne les prompts. Si l'on insère les 66 dimensions dans le prompt système, Qwen3-VL-4B obtient 52,70%, contre 53,37% avec une chaîne de raisonnement classique. Avec un raisonnement fondé sur une seule dimension choisie, la précision tombe à 49,01%. Les modèles ont souvent tourné en boucle : ils énuméraient que l'oryctérope n'est ni métallique, ni artificiel, ni plat, ni vert, jusqu'à épuisement des tokens. Chaque affirmation est exacte, mais n'a presque aucun rapport avec la tâche. Si l'on remplace les explications complètes par de courtes étiquettes de dimensions, le résultat tombe à 42,81%.

Il n'y a pas de gain universel. Sur MMMU, les résultats progressent pour les trois versions de Qwen3-VL, mais sur MMBench la précision du modèle 4B recule de 82,96% à 81,39%. Par ailleurs, parmi les 66 dimensions figurent des critères stéréotypés féminins et masculins ; ces données méritent donc d'être vérifiées avant utilisation.

La conclusion pour les équipes qui règlent des modèles multimodaux : si le modèle doit choisir « comme un humain », une longue liste de règles dans le prompt peut ne pas aider, voire nuire. Il est plus fiable d'affiner le modèle sur des exemples où chaque réponse s'accompagne d'une explication, et de les mélanger à des tâches classiques pour préserver les compétences générales.

Dossier

Questions clés sur cet article

Pourquoi le réglage classique ne résout pas le problème?

On « aligne » généralement les modèles (alignment) avec le RLHF, où des humains notent les réponses et où ces notes servent à entraîner un modèle de récompense distinct, ou avec le DPO, où le modèle apprend directement à partir de paires composées d'une réponse retenue et d'une réponse rejetée. Cela déshabitue efficacement le bot d'être grossier et l'habitue à un format soigné. Mais la concordance de la réponse finale avec celle d'un humain ne dit rien du chemin qui y mène.

Que sait-on sur D'où viennent les 66 critères ?

La base est le projet THINGS : 1854 concepts d'objets réels et une vaste expérience au format « odd-one-out » (le « troisième intrus »). On montrait trois images à des participants, en leur demandant de choisir celle qui ressemble le moins aux deux autres. L'expérience a réuni environ 4,7 millions de jugements humains.

Comment fonctionne l'entraînement?

CogAlign procède en trois étapes. D'abord, pour chaque triplet d'images, la méthode Jackknife retire une dimension à la fois et observe comment évolue la probabilité que la paire restante soit la plus similaire. La dimension à l'effet le plus fort devient le critère principal, par exemple « fabriqué par l'homme ». Ensuite, un LLM classique transforme ce critère en explication cohérente ; il ne cherche pas la bonne réponse, il reçoit un critère déjà établi.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…