SynthAVE : quand 21 modèles ont étiqueté 12 000 produits au lieu d'humains

Les chercheurs ont publié SynthAVE—une méthode d'étiquetage synthétique massif de produits de commerce électronique utilisant le vote de plusieurs LLM. Au lieu d'annoter manuellement des millions de points de données, l'équipe a appliqué un réseau de 21 configurations de LLM (7 modèles × 3 invites), dont les résultats concordent avec les évaluations d'experts humains à 95,2% (κ de Cohen = 0,92).

Pourquoi l'Étiquetage Manuel N'Évolue Plus

Dans le commerce électronique, chaque produit a des dizaines de paramètres : taille, couleur, matériau, poids, longueur de manche, taille de poitrine, et ainsi de suite. Une grande place de marché travaille avec des milliers de types de produits et des centaines d'attributs simultanément. Cela signifie que l'étiquetage complet nécessite des millions d'annotations. Embaucher des personnes pour un tel volume coûte des dizaines de millions de roubles par mois.

Les entreprises savent depuis longtemps que les LLM peuvent générer automatiquement des étiquetages. Mais la question se pose : comment vérifier la qualité à cette échelle? La vérification manuelle dégénère en le même travail coûteux.

Méthode : Arène de Modèles Votants

Au lieu d'utiliser un seul LLM, les auteurs invoquent 7 modèles différents, chacun avec 3 variantes d'invite. Chaque échantillon de produit est évalué par les 21 configurations indépendamment, puis le résultat final est sélectionné par vote majoritaire.

Chiffres clés de l'ensemble de données :

• 12 726 produits
• 229 types de produits
• 792 attributs différents
• 4 langues : espagnol, français, italien, allemand

Résultat :

Performance au Niveau Humain à la Vitesse de la Machine

Le vote majoritaire a atteint κ de Cohen = 0,92 par rapport à l'étiquetage humain (95,2% d'accord direct). Les modèles individuels atteignent κ = 0,76 les uns avec les autres.

Le paradoxe : chaque modèle a ses propres points faibles. Un comprend mieux les tissus, un autre les tailles, un troisième les matériaux. Mais quand de nombreux modèles votent, leurs erreurs s'annulent—comme un bon jury.

Ce Que Cela Signifie

Les entreprises de commerce électronique gagnent la capacité d'étendre l'étiquetage des données au niveau humain à un coût 10–100 fois inférieur au travail manuel. Cela ouvre la porte à l'automatisation de milliers de microtâches qui nécessitaient auparavant des personnes. La méthode est universelle : partout où l'étiquetage massif est nécessaire (médecine, finance, logistique), vous pouvez assembler un panel de juges et utiliser le vote.