SynthAVE: 21 modelos rotulam 12 mil produtos no lugar de humanos

Pesquisadores publicaram o SynthAVE, um método de rotulagem sintética em massa de produtos de e-commerce por meio de votação entre vários LLMs. Em vez de anotar manualmente milhões de dados, a equipe usou uma rede de 21 configurações de LLM (7 modelos × 3 prompts), cujos resultados coincidem com as avaliações de especialistas humanos em 95.2% (κ de Cohen = 0.92).

Por que a rotulagem manual deixou de escalar

No e-commerce, cada produto tem dezenas de parâmetros: tamanho, cor, material, peso, comprimento da manga, medida do busto e assim por diante. Um grande marketplace lida com milhares de tipos de produtos e centenas de atributos ao mesmo tempo. Isso significa que a rotulagem completa exige milhões de anotações. Contratar pessoas para esse volume custaria um orçamento mensal de dezenas de milhões de rublos.

As empresas sabem há tempos que os LLMs podem gerar rótulos automaticamente. Mas surge uma pergunta: como verificar a qualidade nessa escala? A verificação manual acaba virando o mesmo trabalho caro.

O método: uma arena de modelos votantes

Em vez de um único LLM, os autores acionam 7 modelos diferentes, cada um com 3 variações de prompt. As 21 configurações avaliam cada amostra de produto de forma independente, e o resultado final é escolhido por maioria de votos.

Números-chave do dataset:

• 12,726 produtos
• 229 tipos de produto
• 792 atributos distintos
• 4 idiomas: espanhol, francês, italiano e alemão

O resultado: nível humano com velocidade de máquina

A votação por maioria alcançou κ de Cohen = 0.92 em relação à rotulagem humana (95.2% de concordância direta). Entre si, os modelos individuais apresentam κ = 0.76.

O paradoxo: cada modelo tem seus próprios pontos cegos. Um entende melhor de tecidos, outro de tamanhos, um terceiro de materiais. Mas quando muitos modelos votam, os erros se compensam, como em um bom júri.

O que isso significa

As empresas de e-commerce ganham uma forma de escalar a rotulagem de dados com qualidade humana a um custo de 10 a 100 vezes menor que o trabalho manual. Isso abre a porta para automatizar milhares de microtarefas que antes exigiam pessoas. O método é universal: onde houver necessidade de rotulagem em massa (medicina, finanças, logística), é possível montar uma arena de juízes e usar a votação.