SynthAVE: cuando 21 modelos etiquetaron 12 mil productos en lugar de humanos

Los investigadores publicaron SynthAVE, un método para el etiquetado sintético masivo de productos de comercio electrónico utilizando votación de múltiples LLM. En lugar de anotar manualmente millones de puntos de datos, el equipo aplicó una red de 21 configuraciones de LLM (7 modelos × 3 indicaciones), cuyos resultados coinciden con las evaluaciones de expertos humanos en 95.2% (κ de Cohen = 0.92).

Por Qué el Etiquetado Manual Ya No Escala

En el comercio electrónico, cada producto tiene docenas de parámetros: tamaño, color, material, peso, largo de manga, tamaño de pecho, y así sucesivamente. Un gran mercado trabaja con miles de tipos de productos y cientos de atributos simultáneamente. Esto significa que el etiquetado completo requiere millones de anotaciones. Contratar personas para tal volumen cuesta decenas de millones de rublos al mes.

Las empresas hace mucho tiempo saben que los LLM pueden generar etiquetado automáticamente. Pero surge la pregunta: ¿cómo verificas la calidad a tal escala? La verificación manual se degenera en el mismo trabajo costoso.

Método: Arena de Modelos Votantes

En lugar de usar un único LLM, los autores invocan 7 modelos diferentes, cada uno con 3 variantes de indicación. Cada muestra de producto es evaluada por todas las 21 configuraciones independientemente, luego el resultado final se selecciona por voto mayoritario.

Figuras clave del conjunto de datos:

• 12,726 productos
• 229 tipos de productos
• 792 atributos diferentes
• 4 idiomas: español, francés, italiano, alemán

Resultado: Rendimiento a Nivel Humano a Velocidad de Máquina

La votación mayoritaria logró κ de Cohen = 0.92 contra etiquetado humano (95.2% de acuerdo directo). Los modelos individuales logran κ = 0.76 entre sí.

La paradoja: cada modelo tiene sus propios puntos ciegos. Uno entiende mejor los tejidos, otro los tamaños, otro los materiales. Pero cuando muchos modelos votan, sus errores se cancelan mutuamente, como un buen jurado.

Lo Que Esto Significa

Las empresas de comercio electrónico obtienen la capacidad de escalar el etiquetado de datos a nivel humano a 10–100 veces menor costo que el trabajo manual. Esto abre la puerta a automatizar miles de microáreas que anteriormente requerían personas. El método es universal: en cualquier lugar donde se necesite etiquetado masivo (medicina, finanzas, logística), puedes reunir un panel de jueces y usar votación.