SynthAVE: quando 21 modelos rotularam 12 mil produtos em vez de humanos

Pesquisadores publicaram SynthAVE—um método para rotulagem sintética em massa de produtos de e-commerce usando votação de múltiplos LLM. Em vez de anotar manualmente milhões de pontos de dados, a equipe aplicou uma rede de 21 configurações de LLM (7 modelos × 3 prompts), cujos resultados concordam com avaliações de especialistas humanos em 95,2% (κ de Cohen = 0,92).

Por Que a Rotulagem Manual Não Mais Escala

Em e-commerce, cada produto possui dezenas de parâmetros: tamanho, cor, material, peso, comprimento da manga, tamanho do peito e assim por diante. Um grande marketplace trabalha com milhares de tipos de produtos e centenas de atributos simultaneamente. Isto significa que a rotulagem completa requer milhões de anotações. Contratar pessoas para tal volume custa dezenas de milhões de rublos por mês.

Empresas há muito tempo sabem que LLMs podem gerar rotulagem automaticamente. Mas surge a questão: como você verifica a qualidade em tal escala? A verificação manual degenera no mesmo trabalho caro.

Método: Arena de Modelos Votantes

Em vez de usar um único LLM, os autores invocam 7 modelos diferentes, cada um com 3 variantes de prompt. Cada amostra de produto é avaliada por todas as 21 configurações de forma independente, então o resultado final é selecionado por voto da maioria.

Figuras-chave do conjunto de dados:

• 12.726 produtos
• 229 tipos de produtos
• 792 atributos diferentes
• 4 idiomas: espanhol, francês, italiano, alemão

Resultado:

Desempenho em Nível Humano à Velocidade da Máquina

A votação por maioria alcançou κ de Cohen = 0,92 contra rotulagem humana (95,2% de concordância direta). Modelos individuais alcançam κ = 0,76 entre si.

O paradoxo: cada modelo tem seus próprios pontos cegos. Um compreende melhor tecidos, outro tamanhos, um terceiro materiais. Mas quando muitos modelos votam, seus erros se cancelam mutuamente—como um bom júri.

O Que Isto Significa

Empresas de e-commerce obtêm a capacidade de escalar a rotulagem de dados em nível humano a 10–100 vezes menor custo do que trabalho manual. Isto abre a porta para automatizar milhares de microtarefas que anteriormente exigiam pessoas. O método é universal: em qualquer lugar onde seja necessária rotulagem em massa (medicina, finanças, logística), você pode reunir um painel de juízes e usar votação.