RWB no sustituyó su pipeline de OCR por una sola VLM: 400 millones de imágenes al día y siete etapas
El equipo de moderación de RWB procesa cada día con OCR unos 400 millones de imágenes procedentes de 35 millones de fichas de producto. En teoría, una sola VLM podría reemplazar la cadena de modelos, pero en producción esa opción falla por velocidad, memoria, geometría del texto y la incorporación de nuevos idiomas. Por eso el texto lo lee un pipeline de varias etapas, y Qwen3-VL actúa solo como supervisor sobre una fracción de porcentaje del tráfico.
Procesado por IA desde Habr AI; editado por Hamidun News
Todos nos hemos acostumbrado a pensar que el transformer lo puede todo: le das una imagen y te devuelve texto. Pero el equipo de la «Plataforma de moderación» de Wildberries (RWB) ve otra realidad. Por su moderación pasan a diario más de 35 millones de fichas de producto, y por el OCR, unos 400 millones de imágenes. Más del 90% del flujo son precisamente fotos de fichas. Y no las lee un único modelo grande, sino un pipeline de varias etapas.
Para qué sirve el OCR en moderación y por qué «un solo modelo» no basta
Aquí el texto de la imagen no es un fin en sí mismo, sino la entrada de las comprobaciones. A partir de él se buscan contactos que eluden la plataforma, palabras prohibidas y fármacos en la composición. Además, las fichas son caóticas: fondos abigarrados, rótulos diagonales y en arco, texto vertical, varias escrituras en una misma foto. RWB opera en más de 10 países, así que el soporte multilingüe es obligatorio.
El equipo consideró en serio dos candidatos al papel de «modelo único». Una VLM grande como Qwen3-VL lee bien los caracteres, pero con un flujo así se topa con los límites de memoria y velocidad. Un modelo end-to-end compacto como GLM-OCR (menos de mil millones de parámetros) se acerca más al pipeline en velocidad. La cuestión es otra: ¿se puede corregir y desarrollar con la misma precisión quirúrgica?
Al final, la VLM encontró trabajo en otro lugar. Se ejecuta en paralelo sobre una fracción minúscula del tráfico, calcula métricas y busca casos límite para el pipeline principal. Es un auditor interno, no el caballo de batalla.
Dónde falla el enfoque end-to-end en operación
Geometría. Para arcos y diagonales no basta el rectángulo del detector, así que en RWB usan un segmentador. Este devuelve una máscara del texto, y su forma determina el tipo de recorte: el horizontal simplemente se recorta, el inclinado se gira, el vertical se reorienta y el curvo se endereza. Para las líneas curvas se estima la línea media y se construye una transformación TPS (thin plate spline) con un número adaptativo de puntos de control. Si el texto sobre un arco se lee mal, se corrige solo ese bloque y no se toca el resto. En un modelo único, todos estos pasos ocurren de forma implícita y solo se puede comprobar la respuesta final.
Idiomas. El ruso representa alrededor del 80% del tráfico y los demás idiomas pesan bastante menos. Si se reentrena el modelo común con un idioma nuevo, la calidad en los anteriores, incluido el ruso, puede caer. La métrica media apenas lo reflejará, pero en producción se traducirá en miles de errores. Mezclar datos antiguos y usar adaptadores reduce el riesgo, pero no garantiza el aislamiento, y antes de cada release sigue siendo necesario volver a comprobar todos los idiomas.
En el pipeline, este problema lo resuelve un clasificador de escritura. No lee el texto: solo elige la rama de reconocimiento para cada recorte. Ahora hay más de cinco ramas de este tipo, y los idiomas similares se agrupan. Un idioma nuevo obtiene su propio reconocedor, su propio golden dataset y un despliegue independiente. Los pesos del modelo ruso se mantienen intactos, de modo que no hace falta demostrar la ausencia de regresiones en el flujo principal. Los recortes de una misma rama se pueden procesar en batches y en paralelo, y los recursos se distribuyen según el tráfico real. Un modelo end-to-end, en cambio, genera todo el texto token a token.
Orden de lectura y coordenadas. Una ficha de producto no es la página de un libro: el texto aparece en islas, etiquetas e insignias. Si se lee de izquierda a derecha y de arriba abajo, se obtiene «3шт, МНОГО, БЕЗ, МИНИМУМ, БЕЛКА, ГЛЮТЕНА, УГЛЕВОДОВ». La agrupación de boxes cercanos produce el resultado correcto: «3шт / МНОГО БЕЛКА / БЕЗ ГЛЮТЕНА / МИНИМУМ УГЛЕВОДОВ». En el pipeline se trata de un algoritmo aparte, con reglas claras. Si el orden es incorrecto, el culpable es ese algoritmo, no los reconocedores.
Las coordenadas también forman parte del contrato. Hacen falta para identificar el origen de la señal (el producto o una etiqueta de marketing) y para tapar datos personales en la foto. En una VLM, el box se genera junto con el texto, y en imágenes con más de veinte boxes, según las comprobaciones del equipo, los errores ya son evidentes. El modelo puede dar bien el texto, pero no se puede confiar en su geometría como prueba para bloquear una ficha.
Qué conclusiones llevarse
La conclusión principal es que la pregunta no es «VLM o pipeline», sino «dónde necesita usted observabilidad y aislamiento de cambios». Si tiene un flujo grande, idiomas desiguales y decisiones con consecuencias, la modularidad aporta tres cosas:
- el error se puede localizar en una etapa concreta;
- la nueva funcionalidad se puede desplegar sin volver a comprobar todo lo demás;
- los recursos escalan según el tráfico real, y no según el escenario más pesado.
Aun así, un modelo universal sigue siendo útil como juez independiente de la calidad sobre una pequeña fracción del tráfico.
También hay limitaciones. El pipeline es más complejo de mantener, requiere varios modelos y un clasificador que puede confundir escrituras parecidas. Para esos casos, los autores aconsejan agrupar los idiomas si el coste de un error de enrutamiento es mayor que la pérdida de calidad. Si procesa un par de miles de escaneos al día y trabaja con un solo idioma, una VLM grande probablemente sea más sencilla y barata. Pero cuando se trata de cientos de millones de imágenes y de moderación, la transparencia y el control pesan más que la elegancia del «modelo único».
- 28 abr 2026Cómo un autor de Habr convirtió siete flujos de n8n en un sistema autónomo de noticias de IA
- 26 oct 2026Anthropic sustituye Git por su propio sistema, Scion: 7 ingenieros y Claude en 5 meses
- 28 oct 2026Investigadores publican un dataset de 100 000 artículos con imágenes y un test de 7 métricas
- 2 may 2026Cómo conectar una IA a una base de conocimiento: siete pasos sin alucinaciones
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Para qué sirve el OCR en moderación y por qué «un solo modelo» no basta?
Aquí el texto de la imagen no es un fin en sí mismo, sino la entrada de las comprobaciones. A partir de él se buscan contactos que eluden la plataforma, palabras prohibidas y fármacos en la composición. Además, las fichas son caóticas: fondos abigarrados, rótulos diagonales y en arco, texto vertical, varias escrituras en una misma foto. RWB opera en más de 10 países, así que el soporte multilingüe es obligatorio. El equipo consideró en serio dos candidatos al papel de «modelo único».
Dónde falla el enfoque end-to-end en operación?
Geometría. Para arcos y diagonales no basta el rectángulo del detector, así que en RWB usan un segmentador. Este devuelve una máscara del texto, y su forma determina el tipo de recorte: el horizontal simplemente se recorta, el inclinado se gira, el vertical se reorienta y el curvo se endereza. Para las líneas curvas se estima la línea media y se construye una transformación TPS (thin plate spline) con un número adaptativo de puntos de control.
¿Qué se sabe sobre Qué conclusiones llevarse?
La conclusión principal es que la pregunta no es «VLM o pipeline», sino «dónde necesita usted observabilidad y aislamiento de cambios». Si tiene un flujo grande, idiomas desiguales y decisiones con consecuencias, la modularidad aporta tres cosas: el error se puede localizar en una etapa concreta; la nueva funcionalidad se puede desplegar sin volver a comprobar todo lo demás; los recursos escalan según el tráfico real, y no según el escenario más pesado.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.