Amazon évalue le contenu de ses pages produits avec un trio VLM, OCR et CatBoost, pour 94 % de précision

C'est un problème bien connu de toutes les places de marché : chaque élément de la page est correct pris isolément, mais l'ensemble donne un résultat brouillon. L'image est nette, les puces sont sans faute, la photo est belle. Pourtant, le texte annonce une carafe de 64 onces alors que la photo montre un blender individuel. Ou bien la photo d'une cuisine s'affiche au-dessus du produit lui-même. Les contrôles élément par élément ne détectent pas ce genre d'incohérence. L'équipe Amazon Marketplace a décrit comment elle résout ce problème pour l'A+ Content, et l'approche est applicable bien au-delà d'Amazon.

La page comme une seule capture

L'idée est simple : on rend la page entière en une seule image, puis on la transmet à un modèle vision-langage accompagnée d'une grille d'évaluation. Cette grille comprend quatre dimensions : Visual Storytelling, Feature Presentation, A+ Layout et Conversion Optimization. Pour chacune, le modèle renvoie une note de 0 à 10, un niveau de confiance et une justification textuelle.

Le VLM lui-même n'a pas été réentraîné. Il n'existe que 5 478 pages annotées réparties sur 10 catégories, et avec un tel échantillon, le fine-tuning d'un grand modèle risque le surapprentissage et nécessite des GPU. À la place, le VLM avec sa grille reste inchangé, ses notes deviennent des caractéristiques, et CatBoost est entraîné par-dessus sur les étiquettes d'experts. L'annotation a été réalisée par un expert en marketing e-commerce et quatre annotateurs, l'étiquette finale étant déterminée à la majorité des voix. L'accord de chacun avec le consensus, mesuré par le kappa de Cohen, s'établit entre 0,845 et 0,915.

Pourquoi l'OCR est nécessaire

Le VLM saisit bien le sens et la composition, mais perçoit moins bien la densité du texte et les espacements. Il a aussi tendance à valoriser les descriptions longues et détaillées, alors que l'acheteur a besoin de parcourir la page d'un coup d'œil. C'est pourquoi l'OCR sur SageMaker calcule quatre signaux : la densité de texte, la densité de caractères, les espacements et la lisibilité globale.

Résultats sur un échantillon de test d'environ 1 100 pages :

• base de référence (moyenne des quatre notes du VLM et seuil) : 80 % de précision, F1 de 0,84 ;
• OCR seul : 82 % ;
• VLM plus CatBoost : 89 % ;
• VLM plus OCR plus CatBoost : 94 %, F1 de 0,95.

L'OCR ne remplace donc pas le VLM, il le complète. Le gain par rapport à la variante avec VLM seul est de 5 points de pourcentage.

SHAP plutôt qu'une simple note

Une étiquette « faible qualité » n'apprend rien au vendeur. C'est pourquoi SHAP est utilisé : il montre la contribution de chacune des huit caractéristiques à la décision, sur une échelle commune. En moyenne, les plus influentes ont été la densité de caractères (1,1), la lisibilité globale (1,0) et le Visual Storytelling (1,0). Pour chaque page de mauvaise qualité, on retient les caractéristiques les plus négatives, la catégorie du produit, les bonnes pratiques et les justifications du VLM, puis un LLM les transforme en une liste de corrections priorisées. Si la mise en page a un SHAP de -1,2 et le storytelling visuel de -0,3, on conseille d'abord de revoir la disposition, puis de s'occuper des images.

L'effet a été vérifié en pratique : après les corrections suivant ces recommandations, la note moyenne a progressé de 1,4 point sur 10.

Limites et conclusion

Il s'agit d'un blog d'AWS : il faut donc garder à l'esprit un éventuel biais promotionnel. Les métriques sont calculées sur des données internes, et le texte de l'article s'interrompt sur une expérience avec un VLM plus léger, dont les résultats ne sont donc pas analysés ici. L'étiquette binaire « haute/basse » est aussi assez grossière.

Enseignements pratiques pour les équipes qui évaluent des contenus composites (landing pages, fiches produits, présentations, e-mails) :

• évaluez le résultat dans son ensemble, et non par morceaux ;
• ne faites pas de fine-tuning d'un grand modèle avant d'avoir essayé un petit classifieur sur ses sorties structurées ;
• ajoutez des signaux classiques comme l'OCR là où le VLM est aveugle ;
• prévoyez l'explicabilité dès le départ, car c'est elle qui transforme une note en amélioration réelle de la qualité.