Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

RWB n'a pas remplacé son pipeline OCR par une seule VLM : 400 millions d'images par jour et sept étapes

L'équipe de modération de RWB fait passer chaque jour environ 400 millions d'images, issues de 35 millions de fiches produits, dans son OCR. Une seule VLM pourrait sembler remplacer la chaîne de modèles, mais en production cela se heurte à la vitesse, à la mémoire, à la géométrie du texte et à l'ajout de nouvelles langues. C'est pourquoi le texte est lu par un pipeline à plusieurs étapes, tandis que Qwen3-VL ne joue que le rôle de contrôleur sur une fraction de pour cent du trafic.

Traité par IA depuis Habr AI ; édité par Hamidun News
RWB n'a pas remplacé son pipeline OCR par une seule VLM : 400 millions d'images par jour et sept étapes
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Un classificateur d'écriture isole chaque nouvelle langue dans sa propre branche
Chiffre clé #2Le segmenteur et la TPS redressent le texte déformé avant la reconnaissance
La VLM sur des boîtes englobantes dériveau-delà de 20 boîtes, les erreurs deviennent évidentes

Tout le monde s'est habitué à l'idée que le transformer sait tout faire : on lui donne une image, il rend du texte. Mais l'équipe « Plateforme de modération » de Wildberries (RWB) a une autre vision. Plus de 35 millions de fiches produits passent chaque jour par leur modération, et environ 400 millions d'images par l'OCR. Plus de 90 % du flux est constitué de photos de fiches. Et ce n'est pas un grand modèle unique qui les lit, mais un pipeline en plusieurs étapes.

Pourquoi un OCR en modération, et pourquoi « un seul modèle » ne passe pas

Le texte extrait de l'image n'est pas une fin en soi, mais l'entrée de plusieurs contrôles. Il sert à repérer les coordonnées permettant de contourner la plateforme, les mots interdits et les substances médicamenteuses dans la composition. Les fiches sont par ailleurs chaotiques : fonds bariolés, inscriptions en diagonale ou en arc, texte vertical, plusieurs écritures sur une même photo. RWB opère dans plus de 10 pays, le multilinguisme est donc obligatoire.

L'équipe a sérieusement envisagé deux candidats au rôle de « modèle unique ». Une grande VLM comme Qwen3-VL lit bien les caractères, mais sur un tel flux elle se heurte à la mémoire et à la vitesse. Un modèle end-to-end compact comme GLM-OCR (moins d'un milliard de paramètres) est plus proche du pipeline en vitesse. La question est autre : peut-on le corriger et le faire évoluer aussi précisément ?

La VLM a finalement trouvé un autre emploi. Elle est lancée en parallèle sur une toute petite fraction du trafic, calcule les métriques et cherche des cas limites pour le pipeline principal. C'est un auditeur interne, pas une bête de somme.

Où l'end-to-end casse en exploitation

Géométrie. Le cadre rectangulaire d'un détecteur ne suffit pas pour les arcs et les diagonales ; RWB utilise donc un segmenteur. Il fournit un masque du texte, dont la forme détermine le type de recadrage : l'horizontal est simplement découpé, l'incliné est redressé par rotation, le vertical est retourné, le courbe est rectifié. Pour les lignes courbes, on estime la ligne médiane et on construit une transformation TPS (thin plate spline) avec un nombre adaptatif de points de contrôle. Si le texte en arc est mal lu, on ne répare que ce bloc, sans toucher au reste. Dans un modèle unique, toutes ces étapes se font de façon implicite, et seule la réponse finale est vérifiable.

Langues. Le russe représente environ 80 % du trafic, les autres langues nettement moins. Si l'on réentraîne un modèle commun sur une nouvelle langue, la qualité sur les anciennes, russe compris, peut chuter. La métrique moyenne ne le montrera presque pas, mais en production cela se traduira par des milliers d'erreurs. Le mélange d'anciennes données et les adaptateurs réduisent le risque sans garantir l'isolation, et avant chaque release il faut quand même revérifier toutes les langues.

Dans le pipeline, ce problème est résolu par un classificateur d'écriture. Il ne lit pas le texte, il choisit seulement la branche de reconnaissance pour chaque recadrage. Il existe aujourd'hui plus de cinq branches, les langues proches étant regroupées. Une nouvelle langue reçoit son propre recognizer, son propre golden dataset et un déploiement séparé. Les poids du modèle russe restent inchangés, il n'y a donc pas à prouver l'absence de régression sur le flux principal. Les recadrages d'une même branche peuvent être traités par lots et en parallèle, et les ressources réparties selon le trafic réel. Un modèle end-to-end, lui, génère tout le texte token par token.

Ordre de lecture et coordonnées. Une fiche produit n'est pas une page de livre : le texte se trouve en îlots, bandeaux et badges. En lisant de gauche à droite et de haut en bas, on obtient « 3 pcs, BEAUCOUP, SANS, MINIMUM, PROTÉINES, GLUTEN, GLUCIDES ». Le regroupement des boîtes proches donne le résultat correct : « 3 pcs / BEAUCOUP DE PROTÉINES / SANS GLUTEN / MINIMUM DE GLUCIDES ». Dans le pipeline, c'est un algorithme distinct aux règles claires. Si l'ordre est faux, c'est lui le coupable, et non les recognizers.

Les coordonnées font aussi partie du contrat. Elles servent à comprendre la source du signal (produit ou bandeau marketing) et à masquer les données personnelles sur les photos. Chez une VLM, la boîte est générée en même temps que le texte, et sur les images de plus de vingt boîtes, d'après les vérifications de l'équipe, les erreurs sont déjà évidentes. Le modèle peut nommer correctement le texte, mais on ne peut pas se fier à sa géométrie comme preuve pour bannir une fiche.

Ce qu'il faut en retenir

La principale conclusion est que la question n'est pas « VLM ou pipeline », mais « où avez-vous besoin d'observabilité et d'isolation des changements ». Si vous avez un gros flux, des langues inégales et des décisions à conséquences, la modularité apporte trois choses :

  • l'erreur peut être localisée à une étape précise ;
  • une nouvelle fonctionnalité peut être déployée sans revérifier tout le reste ;
  • les ressources évoluent selon le trafic réel, et non selon le scénario le plus lourd.

Le modèle universel reste néanmoins utile comme juge indépendant de la qualité sur une petite part du trafic.

Il y a aussi des limites. Le pipeline est plus difficile à maintenir, exige plusieurs modèles et un classificateur susceptible de confondre des écritures proches. Pour ces cas, les auteurs conseillent de regrouper les langues si le coût d'une erreur de routage dépasse la perte de qualité. Si vous traitez quelques milliers de scans par jour dans une seule langue, une grande VLM sera probablement plus simple et moins chère. Mais quand il s'agit de centaines de millions d'images et de modération, la transparence et le contrôle comptent plus que l'élégance du « modèle unique ».

Dossier

Questions clés sur cet article

Pourquoi un OCR en modération, et pourquoi « un seul modèle » ne passe pas?

Le texte extrait de l'image n'est pas une fin en soi, mais l'entrée de plusieurs contrôles. Il sert à repérer les coordonnées permettant de contourner la plateforme, les mots interdits et les substances médicamenteuses dans la composition. Les fiches sont par ailleurs chaotiques : fonds bariolés, inscriptions en diagonale ou en arc, texte vertical, plusieurs écritures sur une même photo. RWB opère dans plus de 10 pays, le multilinguisme est donc obligatoire.

Que sait-on sur Où l'end-to-end casse en exploitation ?

Géométrie. Le cadre rectangulaire d'un détecteur ne suffit pas pour les arcs et les diagonales ; RWB utilise donc un segmenteur. Il fournit un masque du texte, dont la forme détermine le type de recadrage : l'horizontal est simplement découpé, l'incliné est redressé par rotation, le vertical est retourné, le courbe est rectifié. Pour les lignes courbes, on estime la ligne médiane et on construit une transformation TPS (thin plate spline) avec un nombre adaptatif de points de contrôle.

Que sait-on sur Ce qu'il faut en retenir ?

La principale conclusion est que la question n'est pas « VLM ou pipeline », mais « où avez-vous besoin d'observabilité et d'isolation des changements ». Si vous avez un gros flux, des langues inégales et des décisions à conséquences, la modularité apporte trois choses : l'erreur peut être localisée à une étape précise ; une nouvelle fonctionnalité peut être déployée sans revérifier tout le reste ; les ressources évoluent selon le trafic réel, et non selon le scénario le plus lourd.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
Qu'en pensez-vous ?
Chargement des commentaires…