SynthAVE : 21 modèles annotent 12 000 produits à la place des humains

Des chercheurs ont publié SynthAVE, une méthode d'annotation synthétique de masse des produits e-commerce fondée sur le vote de plusieurs LLM. Plutôt que d'annoter à la main des millions de données, l'équipe a déployé un réseau de 21 configurations de LLM (7 modèles × 3 prompts) dont les résultats coïncident avec les évaluations d'experts humains à 95.2% (κ de Cohen = 0.92).

Pourquoi l'annotation manuelle ne passe plus à l'échelle

Dans l'e-commerce, chaque produit possède des dizaines de paramètres : taille, couleur, matière, poids, longueur de manche, tour de poitrine, etc. Une grande place de marché gère des milliers de types de produits et des centaines d'attributs simultanément. Une annotation complète exige donc des millions d'étiquettes. Embaucher des personnes pour un tel volume représente un budget mensuel de plusieurs dizaines de millions de roubles.

Les entreprises savent depuis longtemps que les LLM peuvent générer des annotations automatiquement. Mais une question se pose : comment vérifier la qualité à cette échelle ? La vérification manuelle redevient le même travail coûteux.

La méthode : une arène de modèles votants

Au lieu d'un seul LLM, les auteurs sollicitent 7 modèles différents, chacun avec 3 variantes de prompt. Les 21 configurations évaluent chaque échantillon de produit de manière indépendante, puis le résultat final est retenu à la majorité des voix.

Chiffres clés du jeu de données :

• 12,726 produits
• 229 types de produits
• 792 attributs distincts
• 4 langues : espagnol, français, italien, allemand

Le résultat : un niveau humain à vitesse machine

Le vote majoritaire atteint un κ de Cohen = 0.92 face à l'annotation humaine (95.2% de concordance directe). Les modèles pris individuellement affichent entre eux un κ = 0.76.

Le paradoxe : chaque modèle a ses propres angles morts. L'un se débrouille mieux avec les tissus, un autre avec les tailles, un troisième avec les matières. Mais quand de nombreux modèles votent, leurs erreurs se compensent, comme dans un bon jury.

Ce que cela signifie

Les entreprises d'e-commerce obtiennent un moyen de monter en échelle l'annotation de données à un niveau humain, pour un coût de 10 à 100 fois inférieur au travail manuel. Cela ouvre la porte à l'automatisation de milliers de microtâches qui nécessitaient jusqu'ici des humains. La méthode est universelle : partout où il faut annoter en masse (médecine, finance, logistique), on peut constituer une arène de juges et recourir au vote.