Une tête linéaire sur Qwen3-VL devance GPT-4o pour évaluer des réponses sans annotation

Des chercheurs montrent qu'une reward-model multimodale n'a pas besoin d'annotateurs. Une tête linéaire, placée sur une couche intermédiaire d'un Qwen3-VL gelé, apprend à classer une légende web d'image au-dessus de sa version altérée, et rien d'autre. À l'échelle 32B, la même recette, sans réglage supplémentaire, égale GPT-4o ou le dépasse sur trois benchmarks, et le devance de 6,6 points sur VL-RewardBench. Elle n'entraîne que quelques milliers de paramètres et demande environ mille fois moins de calcul qu'un fine-tuning.

Comment fonctionne la recette

D'ordinaire, les reward-models vision-language sont entraînées sur des paires de préférences annotées. Cette annotation coûte cher, les annotateurs ne s'accordent pas toujours, et la qualité est ensuite mesurée par la précision sur un benchmark. Les auteurs retirent l'humain de l'entraînement. Ils prennent une légende d'image ordinaire issue du web, la dégradent (le résumé ne détaille pas le sampler utilisé) et entraînent la tête à préférer l'original. Les données annotées ne servent qu'à un seul endroit : choisir la couche d'où extraire les représentations.

C'est précisément ce choix qui s'est révélé décisif. Une couche intermédiaire rapporte 5,8 points de plus que la dernière. Les dernières couches sont apparemment trop spécialisées dans la prédiction du token suivant, tandis que le milieu du réseau conserve mieux la différence entre une description correcte et une description erronée de l'image.

Ce que disent les chiffres

Les principaux résultats de l'étude :

• sur trois benchmarks, à 32B, le modèle égale GPT-4o ou le surpasse ;
• sur VL-RewardBench, l'écart est de 6,6 points ;
• l'entraînement porte sur quelques milliers de paramètres, pour un coût d'environ 1/1000 de celui d'un fine-tuning ;
• à budget de paires égal, les perturbations apportent à la tête gelée 3 à 5 points de plus que les paires curatées de RLAIF-V ;
• la recette se transfère d'un benchmark à l'autre sans nouveau réglage.

Le backbone étant gelé, l'entraînement de la tête est un problème convexe. Le résultat ne dépend ni d'une initialisation heureuse ni du bruit aléatoire de l'optimisation, ce qui le rend plus simple à reproduire.

Le benchmark ne dit pas ce que vous avez réellement évalué

La partie la plus intéressante de l'étude concerne les benchmarks eux-mêmes. Ce qui définit la récompense, c'est le sampler de perturbations, pas le rang dans un tableau. Les auteurs ont entraîné deux têtes sur deux moitiés disjointes des mêmes perturbations. Sur le benchmark, elles obtiennent le même résultat. Sur l'évaluation des hallucinations, elles divergent de 6,4 points. Deux modèles affichant le même chiffre au classement se comportent donc différemment là où cela compte pour un produit.

Il existe aussi un exemple inverse. Une tête a été réentraînée sur les propres candidats de la politique, annotés par un vérificateur. Les hallucinations dans les légendes, mesurées par CHAIR, ont reculé de 5,1 points, et la part de générations d'images réussies a progressé de 5,4. Pourtant, cette tête obtient de moins bons résultats sur tous les benchmarks de reward-models. Le gain sur la tâche visée s'est accompagné d'une baisse au classement, car le classement mesurait autre chose.

Ce qu'il faut en retenir en pratique

Pour une équipe qui fait du RLHF ou du RLAIF sur un modèle multimodal, il est utile de tester d'abord la variante bon marché : un sonde linéaire sur les couches intermédiaires d'un modèle gelé, avec des paires « original — version altérée » générées automatiquement. Son coût est dérisoire face à un fine-tuning, et elle fournit une solide baseline sans recruter d'annotateurs. La couche doit être choisie sur un petit échantillon annoté : c'est le paramètre le plus sensible.

Second enseignement, sur l'évaluation : un seul benchmark ne révèle pas quel comportement est encodé dans la récompense. Si la reward-model sert à lutter contre les hallucinations, il faut la tester séparément sur les hallucinations et, si possible, l'affiner sur les candidats de la politique avec un vérificateur. Précision importante : tous les chiffres proviennent d'un preprint arXiv, sans vérification indépendante pour l'instant, et les détails du sampler de perturbations sont à chercher dans le texte complet de l'article.