SynthAVE: 21 modelos etiquetan 12.000 productos en lugar de personas

Un equipo de investigadores ha publicado SynthAVE, un método de etiquetado sintético masivo de productos de comercio electrónico mediante votación entre varios LLM. En lugar de anotar a mano millones de datos, el equipo empleó una red de 21 configuraciones de LLM (7 modelos × 3 prompts) cuyos resultados coinciden con las valoraciones de expertos humanos en un 95.2% (κ de Cohen = 0.92).

Por qué el etiquetado manual ya no escala

En el comercio electrónico, cada producto tiene decenas de parámetros: talla, color, material, peso, largo de manga, contorno de pecho, etc. Un gran marketplace maneja miles de tipos de productos y cientos de atributos a la vez. Eso significa que el etiquetado completo exige millones de anotaciones. Contratar personas para ese volumen supone un presupuesto mensual de decenas de millones de rublos.

Las empresas saben desde hace tiempo que los LLM pueden generar etiquetas de forma automática. Pero surge una pregunta: ¿cómo comprobar la calidad a esa escala? La verificación manual acaba convirtiéndose en el mismo trabajo costoso.

El método: una arena de modelos que votan

En lugar de un único LLM, los autores recurren a 7 modelos distintos, cada uno con 3 variantes de prompt. Las 21 configuraciones evalúan de forma independiente cada muestra de producto y el resultado final se elige por mayoría de votos.

Cifras clave del conjunto de datos:

• 12,726 productos
• 229 tipos de producto
• 792 atributos distintos
• 4 idiomas: español, francés, italiano y alemán

El resultado: nivel humano a velocidad de máquina

La votación por mayoría alcanzó una κ de Cohen = 0.92 frente al etiquetado humano (95.2% de coincidencia directa). Entre sí, los modelos individuales muestran una κ = 0.76.

La paradoja: cada modelo tiene sus propios puntos ciegos. Uno entiende mejor los tejidos, otro las tallas, un tercero los materiales. Pero cuando votan muchos modelos, sus errores se compensan, como en un buen jurado.

Qué significa

Las empresas de comercio electrónico obtienen una forma de escalar el etiquetado de datos con calidad humana a un coste entre 10 y 100 veces menor que el trabajo manual. Esto abre la puerta a automatizar miles de microtareas que antes requerían personas. El método es universal: allí donde haga falta etiquetado masivo (medicina, finanzas, logística), se puede montar una arena de jueces y usar la votación.