Amazon avalia o conteúdo de páginas de produto com VLM, OCR e CatBoost, com 94% de precisão

Uma dor conhecida de qualquer marketplace: cada elemento da página está bem isoladamente, mas juntos viram uma bagunça. A imagem é nítida, os tópicos não têm erros, a foto é bonita. Mas o texto anuncia uma jarra de 64 onças e na foto aparece um liquidificador individual. Ou a foto de uma cozinha aparece acima do próprio produto. Verificações elemento por elemento não pegam isso. A equipe da Amazon Marketplace descreveu como resolve o problema para o A+ Content, e a abordagem serve muito além da Amazon.

A página como uma única captura

A ideia é simples: renderizar a página inteira em uma imagem e entregá-la a um modelo de visão e linguagem junto com uma rubrica. A rubrica inclui quatro dimensões: Visual Storytelling, Feature Presentation, A+ Layout e Conversion Optimization. Para cada uma, o modelo devolve uma nota de 0 a 10, um nível de confiança e uma justificativa em texto.

Não optaram por ajustar o próprio VLM. Há apenas 5.478 páginas rotuladas de 10 categorias, e com uma amostra assim o fine-tuning de um modelo grande corre o risco de overfitting e exige GPU. Em vez disso, o VLM com a rubrica permanece inalterado, suas notas viram atributos e, por cima, treina-se o CatBoost com rótulos de especialistas. A rotulagem foi feita por um especialista em marketing de ecommerce e quatro anotadores, e o rótulo final era definido por maioria de votos. A concordância de cada um com o consenso, medida pelo kappa de Cohen, ficou entre 0,845 e 0,915.

Por que o OCR é necessário

O VLM capta bem o sentido e a composição, mas percebe pior a densidade do texto e os espaçamentos. Ele também tende a elogiar descrições longas e detalhadas, embora o comprador precise passar os olhos rapidamente. Por isso o OCR no SageMaker calcula quatro sinais: densidade de texto, densidade de caracteres, espaçamento e legibilidade geral.

Resultados em um conjunto de validação de cerca de 1.100 páginas:

• base (média das quatro notas do VLM e um limiar): 80% de precisão, F1 0,84;
• somente OCR: 82%;
• VLM mais CatBoost: 89%;
• VLM mais OCR mais CatBoost: 94%, F1 0,95.

Assim, o OCR não substitui o VLM, mas o complementa. O ganho em relação à variante apenas com VLM foi de 5 p.p.

SHAP em vez de uma nota seca

Um rótulo de "baixa qualidade" não diz nada ao vendedor. Por isso usa-se o SHAP: ele mostra a contribuição de cada um dos oito atributos para a decisão em uma escala comum. Em média, os que mais influenciaram foram a densidade de caracteres (1,1), a legibilidade geral (1,0) e o Visual Storytelling (1,0). Para cada página ruim, pegam-se os atributos mais negativos, a categoria do produto, as melhores práticas e as justificativas do VLM, e um LLM transforma isso em uma lista priorizada de correções. Se o layout tem SHAP de -1,2 e o visual storytelling de -0,3, o conselho é primeiro refazer a diagramação e depois cuidar das imagens.

O efeito foi testado na prática: após as correções feitas com base nessas recomendações, a nota média subiu 1,4 ponto em 10.

Limitações e conclusão

Este é um blog da AWS, então vale lembrar o viés promocional. As métricas foram calculadas com dados internos, e o texto do artigo termina abruptamente em um experimento com um VLM mais leve, por isso seus resultados não são analisados aqui. O rótulo binário "alta/baixa" também é um tanto grosseiro.

Conclusão prática para equipes que avaliam conteúdo composto (landing pages, fichas de produto, apresentações, e-mails):

• avaliem o resultado como um todo, e não por partes;
• não façam fine-tuning de um modelo grande antes de testar um classificador pequeno sobre suas saídas estruturadas;
• adicionem sinais clássicos como o OCR onde o VLM é cego;
• incorporem a explicabilidade desde o início, porque é ela que transforma a nota em ganho de qualidade.