RWB não substituiu o pipeline de OCR por uma única VLM: 400 milhões de imagens por dia e sete etapas
A equipe de moderação da RWB passa por OCR cerca de 400 milhões de imagens por dia, vindas de 35 milhões de fichas de produtos. À primeira vista, uma única VLM poderia substituir a cadeia de modelos, mas em produção essa abordagem esbarra em velocidade, memória, geometria do texto e na inclusão de novos idiomas. Por isso, quem lê o texto é um pipeline de várias etapas, e o Qwen3-VL atua apenas como controlador, numa fração de ponto percentual do tráfego.
Processado por IA de Habr AI; editado por Hamidun News
Todo mundo se acostumou à ideia de que o transformer faz tudo: você envia uma imagem e recebe o texto. Mas a equipe da «Plataforma de Moderação» da Wildberries (RWB) tem outra visão. Por sua moderação passam diariamente mais de 35 milhões de fichas de produtos, e pelo OCR, cerca de 400 milhões de imagens. Mais de 90% do fluxo são fotos das próprias fichas. E quem lê essas imagens não é um único modelo grande, e sim um pipeline com várias etapas.
Por que OCR na moderação e por que «um modelo só» não funciona
O texto extraído da imagem não é um fim em si, mas a entrada para as verificações. Com ele, a equipe procura contatos que contornam a plataforma, palavras proibidas e medicamentos na composição. As fichas, porém, são caóticas: fundos poluídos, textos diagonais e em arco, texto vertical, vários sistemas de escrita na mesma foto. A RWB opera em mais de 10 países, então o suporte a vários idiomas é obrigatório.
A equipe considerou seriamente dois candidatos ao papel de «modelo único». Uma VLM grande, como o Qwen3-VL, lê bem os caracteres, mas, nesse volume de tráfego, esbarra em memória e velocidade. Um modelo end-to-end compacto, como o GLM-OCR (com menos de um bilhão de parâmetros), chega mais perto do pipeline em velocidade. A questão é outra: dá para corrigi-lo e evoluí-lo de forma tão pontual quanto o pipeline?
A VLM acabou encontrando trabalho em outro lugar. Ela roda em paralelo, numa fração minúscula do tráfego, calcula métricas e procura casos extremos (corner cases) para o pipeline principal. É um revisor interno, não o cavalo de carga.
Onde o end-to-end quebra na operação
Geometria. A caixa retangular do detector não basta para arcos e diagonais, por isso a RWB usa um segmentador. Ele devolve uma máscara do texto, e é pelo formato dessa máscara que se define o tipo de recorte: o horizontal é simplesmente cortado, o inclinado é girado até ficar na posição certa, o vertical é virado e o curvo é endireitado. Nas linhas curvas, estima-se a linha média e constrói-se uma transformação TPS (thin plate spline) com número adaptativo de pontos de controle. Se o texto em arco é mal lido, corrige-se só esse bloco, sem mexer no resto. Em um modelo único, todas essas etapas acontecem de forma implícita, e só é possível verificar a resposta final.
Idiomas. O russo responde por cerca de 80% do tráfego, e os demais idiomas têm volume bem menor. Ao refinar (fine-tuning) um modelo geral em um novo idioma, a qualidade nos idiomas antigos, inclusive o russo, pode cair. A métrica média quase não mostra isso, mas em produção isso vira milhares de erros. Misturar dados antigos e usar adaptadores reduz o risco, mas não garante isolamento, e antes de cada release ainda é preciso reverificar todos os idiomas.
No pipeline, esse problema é resolvido por um classificador de escrita. Ele não lê o texto: apenas escolhe a ramificação de reconhecimento para cada recorte. Hoje há mais de cinco ramificações, e idiomas semelhantes são reunidos em grupos. Um novo idioma ganha seu próprio reconhecedor, seu próprio golden dataset e um rollout separado. Os pesos do modelo de russo permanecem os mesmos, então não é preciso provar a ausência de regressão no fluxo principal. Os recortes de uma mesma ramificação podem ser agrupados em lotes (batching) e processados em paralelo, e os recursos são distribuídos conforme o tráfego real. Já um modelo end-to-end gera todo o texto token por token.
Ordem de leitura e coordenadas. A ficha de um produto não é a página de um livro: o texto aparece em ilhas, tarjas e selos. Se a leitura for da esquerda para a direita e de cima para baixo, o resultado é «3un, MUITA, SEM, MÍNIMO, PROTEÍNA, GLÚTEN, CARBOIDRATOS». A clusterização de boxes próximos produz o resultado correto: «3un / MUITA PROTEÍNA / SEM GLÚTEN / MÍNIMO DE CARBOIDRATOS». No pipeline, esse é um algoritmo separado, com regras claras. Se a ordem sair errada, a culpa é dele, e não dos reconhecedores.
As coordenadas também fazem parte do contrato. Elas servem para identificar a origem do sinal (o produto ou uma tarja de marketing) e para borrar dados pessoais nas fotos. Na VLM, o box é gerado junto com o texto, e, segundo as verificações da equipe, em imagens com mais de vinte boxes os erros já são evidentes. O modelo pode acertar o texto, mas não se pode confiar na geometria como prova para banir uma ficha.
O que levar daqui
A principal conclusão é que a pergunta não é «VLM ou pipeline», mas «onde você precisa de observabilidade e isolamento de mudanças». Se você tem um fluxo grande, idiomas com volumes desiguais e decisões com consequências, a modularidade oferece três vantagens:
- o erro pode ser localizado em uma etapa específica;
- novas funcionalidades podem ser lançadas sem reverificar todo o resto;
- os recursos escalam conforme o tráfego real, e não conforme o cenário mais pesado.
O modelo universal continua útil, mas como juiz independente de qualidade, numa pequena fração do tráfego.
Há também limitações. O pipeline é mais difícil de manter, exige vários modelos e um classificador que pode confundir escritas próximas. Para esses casos, os autores recomendam reunir os idiomas em um grupo quando o custo de um erro de roteamento for maior que a perda de qualidade. Se você processa alguns milhares de scans por dia e usa um só idioma, uma VLM grande provavelmente é mais simples e barata. Mas, quando se trata de centenas de milhões de imagens e de moderação, transparência e controle pesam mais que a elegância de um «modelo único».
- 28 de abr. de 2026Como um autor do Habr transformou sete fluxos do n8n em um sistema autônomo de notícias de IA
- 26 de out. de 2026Anthropic substituiu o Git pelo Scion, seu próprio sistema: 7 engenheiros e Claude em 5 meses
- 28 de out. de 2026Pesquisadores publicam dataset com 100 mil artigos ilustrados e um teste com 7 métricas
- 2 de mai. de 2026Como conectar uma IA a uma base de conhecimento: sete passos sem alucinações
Perguntas frequentes sobre a notícia
Por que OCR na moderação e por que «um modelo só» não funciona?
O texto extraído da imagem não é um fim em si, mas a entrada para as verificações. Com ele, a equipe procura contatos que contornam a plataforma, palavras proibidas e medicamentos na composição. As fichas, porém, são caóticas: fundos poluídos, textos diagonais e em arco, texto vertical, vários sistemas de escrita na mesma foto. A RWB opera em mais de 10 países, então o suporte a vários idiomas é obrigatório. A equipe considerou seriamente dois candidatos ao papel de «modelo único».
Onde o end-to-end quebra na operação?
Geometria. A caixa retangular do detector não basta para arcos e diagonais, por isso a RWB usa um segmentador. Ele devolve uma máscara do texto, e é pelo formato dessa máscara que se define o tipo de recorte: o horizontal é simplesmente cortado, o inclinado é girado até ficar na posição certa, o vertical é virado e o curvo é endireitado. Nas linhas curvas, estima-se a linha média e constrói-se uma transformação TPS (thin plate spline) com número adaptativo de pontos de controle.
O que levar daqui?
A principal conclusão é que a pergunta não é «VLM ou pipeline», mas «onde você precisa de observabilidade e isolamento de mudanças». Se você tem um fluxo grande, idiomas com volumes desiguais e decisões com consequências, a modularidade oferece três vantagens: o erro pode ser localizado em uma etapa específica; novas funcionalidades podem ser lançadas sem reverificar todo o resto; os recursos escalam conforme o tráfego real, e não conforme o cenário mais pesado.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.