Property Finder descobre viés na rotulagem e reduz em 86% o custo de VLM

A Property Finder, plataforma digital de imóveis, processa dezenas de milhares de fotos por dia em toda a região MENA. Cada imagem é verificada em 11 atributos, e cada anúncio tem em média 15 fotos. A equipe queria abandonar um modelo de visão proprietário caro em favor de uma opção mais barata no Amazon Bedrock, mas esbarrou em um problema inesperado: 96,8% dos rótulos de referência não eram resultado de revisão manual, e sim cópias das previsões do próprio modelo que se pretendia substituir.

Com o AWS Generative AI Innovation Center, a empresa reconstruiu a avaliação, ajustou os prompts e migrou para o Llama 4 Maverick 17B Instruct: Micro F1 de 0,80 contra 0,56 do modelo anterior e 86% de economia.

Respostas escritas pelo modelo que seria substituído

O esquema é familiar para muita gente. É preciso um dataset para comparar modelos, existe uma produção funcionando que ninguém critica, e então a saída dela vira ground truth. O resultado é um círculo vicioso: o candidato é avaliado pela proximidade com o incumbente, e não pela correção. Qualquer alternativa está em desvantagem estrutural antes mesmo da primeira requisição.

Os dados da Property Finder também continham erros diretos. Na extração de texto de marcas d'água, imprecisões de letra por letra foram marcadas como corretas, incluindo nomes de marcas inventados e caracteres omitidos. A classificação de fotos forçava um único rótulo, embora a imagem mostrasse vários tipos de cômodo. Nos 3,2% restantes de rótulos feitos por humanos, os anotadores adicionaram categorias fora da especificação, como Office.

Como o padrão de referência foi montado e as 27 versões de prompt, testadas

Os especialistas rotularam manualmente 356 imagens dos Emirados Árabes Unidos, de forma independente e sem acesso às saídas do modelo antigo. As primeiras 256 formaram o conjunto de desenvolvimento (dev) para ajuste, outras 100 foram adicionadas depois, e as 356 entraram na comparação final. Um conjunto separado do Egito, com 230 imagens, serviu como validação inter-regional e não entrou no relatório. A rotulagem foi feita por um analista com conhecimento dos padrões de qualidade de anúncios, e os casos controversos foram discutidos em sessões com a equipe da AWS.

A decisão-chave foi passar de um único rótulo para multilabel. A foto de um corredor com um quarto visto no vão da porta de fato contém os dois cômodos. As métricas foram escolhidas de acordo com a tarefa: Micro F1 como principal, Macro F1 para classes raras, precision/recall por rótulo, IoU no nível da amostra e, para os nove atributos de rótulo único, também a accuracy de exact-match.

Os autores descrevem a otimização por analogia com RL: a versão do prompt faz o papel de agente, o Micro F1 funciona como recompensa e a análise de erros substitui o gradiente. A ideia é próxima à do GEPA. A maioria das versões nasceu da análise de imagens erradas com ajuda de assistentes de IA, e na v27 o MIPROv2, do DSPy, foi incorporado para a classificação de fotos.

O que funcionou, passo a passo:

• v0: prompt genérico com classificação a partir de uma lista de cômodos • saída estruturada e definições dos atributos • regra para classificar pelo cômodo que ocupa a maior parte do quadro • regras regionais: uma inscrição decorativa em árabe não conta como marca d'água, o que eliminou uma classe inteira de falsos positivos • v21: multilabel para foto e categoria de cômodo, ponto de partida comum a todos os modelos; o Llama 4 Maverick fez Micro F1 de 0,75 no conjunto dev • v24: superestimação do tamanho dos cômodos, multilabel, formato de saída • v25: versão otimizada automaticamente, com as tarefas críticas movidas para o início • v27: o MIPROv2 reestruturou a classificação de fotos, com Micro F1 de 0,76 nessa tarefa • v27_PF: acrescenta as regras da Property Finder para renders, molduras e corredores, além da normalização do formato após cada chamada

As falhas também foram úteis. Dividir a análise em duas chamadas, uma só para marcas d'água e outra para o resto, não trouxe ganho perceptível, e a detecção de imagens com moldura caiu bastante: sem o contexto das marcas d'água, os modelos confundiam overlays com bordas. Prompts universais não funcionaram em nenhum modelo.

Números, ressalvas e custo

Em 356 imagens, o Llama 4 Maverick 17B Instruct com v27_PF obteve Micro F1 de 0,80, e o modelo proprietário A com v22, 0,56. No conjunto dev, a troca de modelo, cada um com seus prompts ajustados, elevou a métrica de 0,55 para 0,81, ou seja, 47% em termos relativos. Só o ajuste de prompt no Llama levou o resultado de 0,75 a 0,81. Os autores fazem um alerta transparente: o conjunto de avaliação inclui imagens do dev, então os números são otimistas. Além disso, o Llama recebeu mais ajustes (v24–v27 mais as regras do cliente), enquanto o modelo A teve apenas uma rodada, a v22.

Exact-match nos atributos de rótulo único em 356 imagens:

• detecção de rotação: 100% • pessoas no quadro: 97% • imagem com moldura: 97% • marcas d'água: 94% • renders: 93% • status de mobília: 91% • cômodo em fase de construção: 81% • tamanho do cômodo: 65% • extração de texto de marcas d'água: 55%

O modelo atingiu 90% ou mais em seis dos nove atributos e igualou ou superou o modelo A nos 11, e na classificação de fotos o resultado é o mesmo. Os pontos fracos são evidentes: tamanho do cômodo e OCR de marcas d'água.

O custo foi estimado em $2,35 por 1000 imagens (US East, Ohio, dezembro de 2025), 86% menos que o esquema anterior. O cálculo parte de 9000 tokens de entrada e 200 de saída por imagem, em uma análise de duas chamadas. O prompt real de produção, em uma única chamada, ocupa de 7500 a 8000 tokens de entrada, então o valor é um teto. A comparação usa a estimativa da configuração anterior na v21, e não na v22, de modo que o custo dela pode ser diferente. A latência de inferência, segundo o monitoramento da própria Property Finder, caiu de 40% a 60%.

O que verificar na sua operação

Comece auditando os rótulos: se eles surgiram das previsões de um modelo, você tem o mesmo problema. São necessárias algumas centenas de amostras representativas com rotulagem especializada independente e um split de teste separado, que nunca participe do ajuste. Para atributos que se sobrepõem, use métricas multilabel e olhe o Macro F1 ao lado do Micro. Ajuste os prompts com base na análise de imagens específicas em que o modelo errou e mantenha um candidato por família de modelos. Para expandir o dataset, os autores sugerem um modelo híbrido: modelos de diferentes famílias propõem rótulos e apontam divergências, e humanos dão o veredito em cada caso.