En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
IndustriaAnálisis · En radarHabr AI→ original

RWB no sustituyó su pipeline de OCR por una sola VLM: 400 millones de imágenes al día y siete etapas

El equipo de moderación de RWB procesa cada día con OCR unos 400 millones de imágenes procedentes de 35 millones de fichas de producto. En teoría, una sola VLM podría reemplazar la cadena de modelos, pero en producción esa opción falla por velocidad, memoria, geometría del texto y la incorporación de nuevos idiomas. Por eso el texto lo lee un pipeline de varias etapas, y Qwen3-VL actúa solo como supervisor sobre una fracción de porcentaje del tráfico.

Procesado por IA desde Habr AI; editado por Hamidun News
RWB no sustituyó su pipeline de OCR por una sola VLM: 400 millones de imágenes al día y siete etapas
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Un clasificador de escritura aísla cada idioma nuevo en su propia rama
Dato clave #2El segmentador y la TPS enderezan el texto curvo antes del reconocimiento
La VLM sobre boxes se desvíacon más de 20 boxes los errores ya son evidentes

Todos nos hemos acostumbrado a pensar que el transformer lo puede todo: le das una imagen y te devuelve texto. Pero el equipo de la «Plataforma de moderación» de Wildberries (RWB) ve otra realidad. Por su moderación pasan a diario más de 35 millones de fichas de producto, y por el OCR, unos 400 millones de imágenes. Más del 90% del flujo son precisamente fotos de fichas. Y no las lee un único modelo grande, sino un pipeline de varias etapas.

Para qué sirve el OCR en moderación y por qué «un solo modelo» no basta

Aquí el texto de la imagen no es un fin en sí mismo, sino la entrada de las comprobaciones. A partir de él se buscan contactos que eluden la plataforma, palabras prohibidas y fármacos en la composición. Además, las fichas son caóticas: fondos abigarrados, rótulos diagonales y en arco, texto vertical, varias escrituras en una misma foto. RWB opera en más de 10 países, así que el soporte multilingüe es obligatorio.

El equipo consideró en serio dos candidatos al papel de «modelo único». Una VLM grande como Qwen3-VL lee bien los caracteres, pero con un flujo así se topa con los límites de memoria y velocidad. Un modelo end-to-end compacto como GLM-OCR (menos de mil millones de parámetros) se acerca más al pipeline en velocidad. La cuestión es otra: ¿se puede corregir y desarrollar con la misma precisión quirúrgica?

Al final, la VLM encontró trabajo en otro lugar. Se ejecuta en paralelo sobre una fracción minúscula del tráfico, calcula métricas y busca casos límite para el pipeline principal. Es un auditor interno, no el caballo de batalla.

Dónde falla el enfoque end-to-end en operación

Geometría. Para arcos y diagonales no basta el rectángulo del detector, así que en RWB usan un segmentador. Este devuelve una máscara del texto, y su forma determina el tipo de recorte: el horizontal simplemente se recorta, el inclinado se gira, el vertical se reorienta y el curvo se endereza. Para las líneas curvas se estima la línea media y se construye una transformación TPS (thin plate spline) con un número adaptativo de puntos de control. Si el texto sobre un arco se lee mal, se corrige solo ese bloque y no se toca el resto. En un modelo único, todos estos pasos ocurren de forma implícita y solo se puede comprobar la respuesta final.

Idiomas. El ruso representa alrededor del 80% del tráfico y los demás idiomas pesan bastante menos. Si se reentrena el modelo común con un idioma nuevo, la calidad en los anteriores, incluido el ruso, puede caer. La métrica media apenas lo reflejará, pero en producción se traducirá en miles de errores. Mezclar datos antiguos y usar adaptadores reduce el riesgo, pero no garantiza el aislamiento, y antes de cada release sigue siendo necesario volver a comprobar todos los idiomas.

En el pipeline, este problema lo resuelve un clasificador de escritura. No lee el texto: solo elige la rama de reconocimiento para cada recorte. Ahora hay más de cinco ramas de este tipo, y los idiomas similares se agrupan. Un idioma nuevo obtiene su propio reconocedor, su propio golden dataset y un despliegue independiente. Los pesos del modelo ruso se mantienen intactos, de modo que no hace falta demostrar la ausencia de regresiones en el flujo principal. Los recortes de una misma rama se pueden procesar en batches y en paralelo, y los recursos se distribuyen según el tráfico real. Un modelo end-to-end, en cambio, genera todo el texto token a token.

Orden de lectura y coordenadas. Una ficha de producto no es la página de un libro: el texto aparece en islas, etiquetas e insignias. Si se lee de izquierda a derecha y de arriba abajo, se obtiene «3шт, МНОГО, БЕЗ, МИНИМУМ, БЕЛКА, ГЛЮТЕНА, УГЛЕВОДОВ». La agrupación de boxes cercanos produce el resultado correcto: «3шт / МНОГО БЕЛКА / БЕЗ ГЛЮТЕНА / МИНИМУМ УГЛЕВОДОВ». En el pipeline se trata de un algoritmo aparte, con reglas claras. Si el orden es incorrecto, el culpable es ese algoritmo, no los reconocedores.

Las coordenadas también forman parte del contrato. Hacen falta para identificar el origen de la señal (el producto o una etiqueta de marketing) y para tapar datos personales en la foto. En una VLM, el box se genera junto con el texto, y en imágenes con más de veinte boxes, según las comprobaciones del equipo, los errores ya son evidentes. El modelo puede dar bien el texto, pero no se puede confiar en su geometría como prueba para bloquear una ficha.

Qué conclusiones llevarse

La conclusión principal es que la pregunta no es «VLM o pipeline», sino «dónde necesita usted observabilidad y aislamiento de cambios». Si tiene un flujo grande, idiomas desiguales y decisiones con consecuencias, la modularidad aporta tres cosas:

  • el error se puede localizar en una etapa concreta;
  • la nueva funcionalidad se puede desplegar sin volver a comprobar todo lo demás;
  • los recursos escalan según el tráfico real, y no según el escenario más pesado.

Aun así, un modelo universal sigue siendo útil como juez independiente de la calidad sobre una pequeña fracción del tráfico.

También hay limitaciones. El pipeline es más complejo de mantener, requiere varios modelos y un clasificador que puede confundir escrituras parecidas. Para esos casos, los autores aconsejan agrupar los idiomas si el coste de un error de enrutamiento es mayor que la pérdida de calidad. Si procesa un par de miles de escaneos al día y trabaja con un solo idioma, una VLM grande probablemente sea más sencilla y barata. Pero cuando se trata de cientos de millones de imágenes y de moderación, la transparencia y el control pesan más que la elegancia del «modelo único».

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Para qué sirve el OCR en moderación y por qué «un solo modelo» no basta?

Aquí el texto de la imagen no es un fin en sí mismo, sino la entrada de las comprobaciones. A partir de él se buscan contactos que eluden la plataforma, palabras prohibidas y fármacos en la composición. Además, las fichas son caóticas: fondos abigarrados, rótulos diagonales y en arco, texto vertical, varias escrituras en una misma foto. RWB opera en más de 10 países, así que el soporte multilingüe es obligatorio. El equipo consideró en serio dos candidatos al papel de «modelo único».

Dónde falla el enfoque end-to-end en operación?

Geometría. Para arcos y diagonales no basta el rectángulo del detector, así que en RWB usan un segmentador. Este devuelve una máscara del texto, y su forma determina el tipo de recorte: el horizontal simplemente se recorta, el inclinado se gira, el vertical se reorienta y el curvo se endereza. Para las líneas curvas se estima la línea media y se construye una transformación TPS (thin plate spline) con un número adaptativo de puntos de control.

¿Qué se sabe sobre Qué conclusiones llevarse?

La conclusión principal es que la pregunta no es «VLM o pipeline», sino «dónde necesita usted observabilidad y aislamiento de cambios». Si tiene un flujo grande, idiomas desiguales y decisiones con consecuencias, la modularidad aporta tres cosas: el error se puede localizar en una etapa concreta; la nueva funcionalidad se puede desplegar sin volver a comprobar todo lo demás; los recursos escalan según el tráfico real, y no según el escenario más pesado.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
¿Qué te parece?
Cargando comentarios…