Amazon evalúa el contenido de las páginas de producto con VLM, OCR y CatBoost, con un 94 % de precisión

Un dolor conocido de cualquier marketplace: cada elemento de la página está bien por separado, pero juntos resultan un desastre. La imagen es nítida, las viñetas no tienen errores, la foto es bonita. Pero el texto anuncia una jarra de 64 onzas y en la foto aparece una licuadora individual. O la foto de una cocina aparece por encima del propio producto. Las comprobaciones elemento por elemento no detectan esto. El equipo de Amazon Marketplace describió cómo lo resuelve para A+ Content, y el enfoque sirve mucho más allá de Amazon.

La página como una sola captura

La idea es sencilla: renderizar la página completa en una imagen y entregarla a un modelo de visión y lenguaje junto con una rúbrica. La rúbrica incluye cuatro dimensiones: Visual Storytelling, Feature Presentation, A+ Layout y Conversion Optimization. Para cada una, el modelo devuelve una puntuación de 0 a 10, un nivel de confianza y una justificación textual.

No se optó por ajustar el propio VLM. Hay solo 5.478 páginas etiquetadas de 10 categorías, y con una muestra así, el fine-tuning de un modelo grande corre el riesgo de sobreajustarse y requiere GPU. En su lugar, el VLM con la rúbrica permanece sin cambios, sus puntuaciones se convierten en características y encima se entrena CatBoost con etiquetas de expertos. El etiquetado lo hicieron un experto en marketing de ecommerce y cuatro anotadores, y la etiqueta final se decidía por mayoría de votos. La concordancia de cada uno con el consenso, medida con el kappa de Cohen, fue de 0,845 a 0,915.

Por qué hace falta OCR

El VLM capta bien el sentido y la composición, pero percibe peor la densidad del texto y los espaciados. Además, tiende a elogiar descripciones largas y detalladas, aunque el comprador necesita echar un vistazo rápido. Por eso el OCR en SageMaker calcula cuatro señales: densidad de texto, densidad de caracteres, espaciado y legibilidad general.

Resultados en un conjunto de validación de aproximadamente 1.100 páginas:

• base (media de las cuatro puntuaciones del VLM y un umbral): 80 % de precisión, F1 0,84;
• solo OCR: 82 %;
• VLM más CatBoost: 89 %;
• VLM más OCR más CatBoost: 94 %, F1 0,95.

Es decir, el OCR no sustituye al VLM, sino que lo complementa. La mejora respecto a la variante solo con VLM fue de 5 p. p.

SHAP en lugar de una puntuación a secas

Una etiqueta de «baja calidad» no le dice nada al vendedor. Por eso se usa SHAP: muestra la contribución de cada una de las ocho características a la decisión en una escala común. De media, las que más influyeron fueron la densidad de caracteres (1,1), la legibilidad general (1,0) y Visual Storytelling (1,0). Para cada página deficiente se toman las características más negativas, la categoría del producto, las mejores prácticas y las justificaciones del VLM, y un LLM lo convierte en una lista priorizada de correcciones. Si el diseño tiene un SHAP de -1,2 y el visual storytelling de -0,3, se aconseja primero rehacer la maquetación y después ocuparse de las imágenes.

El efecto se comprobó en la práctica: tras las correcciones basadas en estas recomendaciones, la puntuación media subió 1,4 puntos sobre 10.

Limitaciones y conclusión

Este es un blog de AWS, así que conviene recordar su sesgo promocional. Las métricas se calcularon con datos internos, y el texto del artículo se interrumpe en un experimento con un VLM más ligero, por lo que aquí no se analizan sus resultados. La etiqueta binaria «alta/baja» también es algo tosca.

Conclusión práctica para los equipos que evalúan contenido compuesto (landing pages, fichas de producto, presentaciones, correos):

• evalúen el resultado en su conjunto, no por partes;
• no hagan fine-tuning de un modelo grande hasta probar un clasificador pequeño sobre sus salidas estructuradas;
• añadan señales clásicas como el OCR donde el VLM es ciego;
• incorporen la explicabilidad desde el principio, porque es ella la que convierte la puntuación en mejora de calidad.