Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

RWB não substituiu o pipeline de OCR por uma única VLM: 400 milhões de imagens por dia e sete etapas

A equipe de moderação da RWB passa por OCR cerca de 400 milhões de imagens por dia, vindas de 35 milhões de fichas de produtos. À primeira vista, uma única VLM poderia substituir a cadeia de modelos, mas em produção essa abordagem esbarra em velocidade, memória, geometria do texto e na inclusão de novos idiomas. Por isso, quem lê o texto é um pipeline de várias etapas, e o Qwen3-VL atua apenas como controlador, numa fração de ponto percentual do tráfego.

Processado por IA de Habr AI; editado por Hamidun News
RWB não substituiu o pipeline de OCR por uma única VLM: 400 milhões de imagens por dia e sete etapas
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O classificador de escrita isola cada novo idioma em sua própria ramificação
Dado-chave #2O segmentador e o TPS endireitam o texto torto antes do reconhecimento
A VLM sobre bounding boxes se perdecom mais de 20 boxes, os erros já são evidentes

Todo mundo se acostumou à ideia de que o transformer faz tudo: você envia uma imagem e recebe o texto. Mas a equipe da «Plataforma de Moderação» da Wildberries (RWB) tem outra visão. Por sua moderação passam diariamente mais de 35 milhões de fichas de produtos, e pelo OCR, cerca de 400 milhões de imagens. Mais de 90% do fluxo são fotos das próprias fichas. E quem lê essas imagens não é um único modelo grande, e sim um pipeline com várias etapas.

Por que OCR na moderação e por que «um modelo só» não funciona

O texto extraído da imagem não é um fim em si, mas a entrada para as verificações. Com ele, a equipe procura contatos que contornam a plataforma, palavras proibidas e medicamentos na composição. As fichas, porém, são caóticas: fundos poluídos, textos diagonais e em arco, texto vertical, vários sistemas de escrita na mesma foto. A RWB opera em mais de 10 países, então o suporte a vários idiomas é obrigatório.

A equipe considerou seriamente dois candidatos ao papel de «modelo único». Uma VLM grande, como o Qwen3-VL, lê bem os caracteres, mas, nesse volume de tráfego, esbarra em memória e velocidade. Um modelo end-to-end compacto, como o GLM-OCR (com menos de um bilhão de parâmetros), chega mais perto do pipeline em velocidade. A questão é outra: dá para corrigi-lo e evoluí-lo de forma tão pontual quanto o pipeline?

A VLM acabou encontrando trabalho em outro lugar. Ela roda em paralelo, numa fração minúscula do tráfego, calcula métricas e procura casos extremos (corner cases) para o pipeline principal. É um revisor interno, não o cavalo de carga.

Onde o end-to-end quebra na operação

Geometria. A caixa retangular do detector não basta para arcos e diagonais, por isso a RWB usa um segmentador. Ele devolve uma máscara do texto, e é pelo formato dessa máscara que se define o tipo de recorte: o horizontal é simplesmente cortado, o inclinado é girado até ficar na posição certa, o vertical é virado e o curvo é endireitado. Nas linhas curvas, estima-se a linha média e constrói-se uma transformação TPS (thin plate spline) com número adaptativo de pontos de controle. Se o texto em arco é mal lido, corrige-se só esse bloco, sem mexer no resto. Em um modelo único, todas essas etapas acontecem de forma implícita, e só é possível verificar a resposta final.

Idiomas. O russo responde por cerca de 80% do tráfego, e os demais idiomas têm volume bem menor. Ao refinar (fine-tuning) um modelo geral em um novo idioma, a qualidade nos idiomas antigos, inclusive o russo, pode cair. A métrica média quase não mostra isso, mas em produção isso vira milhares de erros. Misturar dados antigos e usar adaptadores reduz o risco, mas não garante isolamento, e antes de cada release ainda é preciso reverificar todos os idiomas.

No pipeline, esse problema é resolvido por um classificador de escrita. Ele não lê o texto: apenas escolhe a ramificação de reconhecimento para cada recorte. Hoje há mais de cinco ramificações, e idiomas semelhantes são reunidos em grupos. Um novo idioma ganha seu próprio reconhecedor, seu próprio golden dataset e um rollout separado. Os pesos do modelo de russo permanecem os mesmos, então não é preciso provar a ausência de regressão no fluxo principal. Os recortes de uma mesma ramificação podem ser agrupados em lotes (batching) e processados em paralelo, e os recursos são distribuídos conforme o tráfego real. Já um modelo end-to-end gera todo o texto token por token.

Ordem de leitura e coordenadas. A ficha de um produto não é a página de um livro: o texto aparece em ilhas, tarjas e selos. Se a leitura for da esquerda para a direita e de cima para baixo, o resultado é «3un, MUITA, SEM, MÍNIMO, PROTEÍNA, GLÚTEN, CARBOIDRATOS». A clusterização de boxes próximos produz o resultado correto: «3un / MUITA PROTEÍNA / SEM GLÚTEN / MÍNIMO DE CARBOIDRATOS». No pipeline, esse é um algoritmo separado, com regras claras. Se a ordem sair errada, a culpa é dele, e não dos reconhecedores.

As coordenadas também fazem parte do contrato. Elas servem para identificar a origem do sinal (o produto ou uma tarja de marketing) e para borrar dados pessoais nas fotos. Na VLM, o box é gerado junto com o texto, e, segundo as verificações da equipe, em imagens com mais de vinte boxes os erros já são evidentes. O modelo pode acertar o texto, mas não se pode confiar na geometria como prova para banir uma ficha.

O que levar daqui

A principal conclusão é que a pergunta não é «VLM ou pipeline», mas «onde você precisa de observabilidade e isolamento de mudanças». Se você tem um fluxo grande, idiomas com volumes desiguais e decisões com consequências, a modularidade oferece três vantagens:

  • o erro pode ser localizado em uma etapa específica;
  • novas funcionalidades podem ser lançadas sem reverificar todo o resto;
  • os recursos escalam conforme o tráfego real, e não conforme o cenário mais pesado.

O modelo universal continua útil, mas como juiz independente de qualidade, numa pequena fração do tráfego.

Há também limitações. O pipeline é mais difícil de manter, exige vários modelos e um classificador que pode confundir escritas próximas. Para esses casos, os autores recomendam reunir os idiomas em um grupo quando o custo de um erro de roteamento for maior que a perda de qualidade. Se você processa alguns milhares de scans por dia e usa um só idioma, uma VLM grande provavelmente é mais simples e barata. Mas, quando se trata de centenas de milhões de imagens e de moderação, transparência e controle pesam mais que a elegância de um «modelo único».

História

Perguntas frequentes sobre a notícia

Por que OCR na moderação e por que «um modelo só» não funciona?

O texto extraído da imagem não é um fim em si, mas a entrada para as verificações. Com ele, a equipe procura contatos que contornam a plataforma, palavras proibidas e medicamentos na composição. As fichas, porém, são caóticas: fundos poluídos, textos diagonais e em arco, texto vertical, vários sistemas de escrita na mesma foto. A RWB opera em mais de 10 países, então o suporte a vários idiomas é obrigatório. A equipe considerou seriamente dois candidatos ao papel de «modelo único».

Onde o end-to-end quebra na operação?

Geometria. A caixa retangular do detector não basta para arcos e diagonais, por isso a RWB usa um segmentador. Ele devolve uma máscara do texto, e é pelo formato dessa máscara que se define o tipo de recorte: o horizontal é simplesmente cortado, o inclinado é girado até ficar na posição certa, o vertical é virado e o curvo é endireitado. Nas linhas curvas, estima-se a linha média e constrói-se uma transformação TPS (thin plate spline) com número adaptativo de pontos de controle.

O que levar daqui?

A principal conclusão é que a pergunta não é «VLM ou pipeline», mas «onde você precisa de observabilidade e isolamento de mudanças». Se você tem um fluxo grande, idiomas com volumes desiguais e decisões com consequências, a modularidade oferece três vantagens: o erro pode ser localizado em uma etapa específica; novas funcionalidades podem ser lançadas sem reverificar todo o resto; os recursos escalam conforme o tráfego real, e não conforme o cenário mais pesado.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…