Como verificar LLMs à mão e com scripts: 12 lições de traduções e tabelas de medidas

Quando um LLM é integrado a um processo de negócio em operação, a questão deixa de ser se o modelo sabe traduzir ou buscar dados. A questão é o que acontece quando ele erra. Os autores de uma análise no Habr reuniram 12 conclusões de duas tarefas em produção: a tradução automática de produtos do inglês para o russo e a busca por tabelas de medidas.

Duas tarefas, duas estratégias

Primeira tarefa: dezenas de milhares de títulos e descrições por dia. O erro aqui é barato, o original e as fotos estão à mão, e esse volume não dá para verificar manualmente. Por isso funciona uma combinação de vários modelos, um LLM juiz e verificações por script, além de auditoria por amostragem.

Segunda tarefa: encontrar uma tabela de medidas a partir da combinação «marca + tipo de produto + tamanho + gênero», por exemplo Nike, tênis, 11 US, masculino. O erro é caro: uma palmilha de 260 mm em vez de 250 significa devolução. O volume é moderado, então uma pessoa verifica cada registro. Dois modelos com busca na web (OpenAI e Gemini) procuram a tabela de forma independente, o Claude atua como juiz e uma pessoa faz a verificação final.

Daí uma matriz simples: avalie o custo do erro e o volume diário, e a estratégia de verificação fica óbvia.

O que realmente ajuda

O contexto importa mais do que prompts engenhosos. No início só o título era traduzido; a qualidade melhorou depois de acrescentar a descrição, o site, a categoria e o link. No Walmart, o atributo de uma só letra «N» (abreviação de «No») era traduzido como «North» até que o nome do atributo fosse adicionado. No DoorDash, muitos «erros do juiz» se revelaram falta de informação. Se o modelo errou, primeiro verifique se ele tem dados suficientes.

Coloque a justificativa antes da resposta. O modelo apresenta a regra do prompt ou um trecho literal da página e só depois o valor. Há menos invenções e fica mais fácil para o revisor encontrar a fonte.

O juiz deve responder «sim» ou «não». A equipe descartou a escala de cinco pontos: não encontrou diferença entre as notas 3 e 5. A autoavaliação de confiança do modelo também é inútil: uma resposta com «10 de 10» acabou sendo um valor da tabela feminina em vez da masculina. A coincidência entre dois modelos também não basta, pois eles muitas vezes erram do mesmo jeito, então são necessários os dois sinais: coincidência e aprovação do juiz.

Scripts superam LLMs quando a tarefa é determinística. O modelo às vezes não converte ou calcula errado medidas em polegadas, libras e onças. Expressões regulares comparam os números do original e da tradução e, sempre que possível, a conversão é feita com coeficientes, sem modelo.

Ferramentas e processo

Para a verificação manual, a equipe criou uma extensão do Chrome. Ela recebe um JSON com os resultados, abre a página de origem, destaca o valor encontrado (ou inicia uma busca no Google se não houver tabela) e a decisão é tomada com atalhos de teclado. O JSON final vai para o painel administrativo. A velocidade de verificação aumentou dezenas de vezes.

Mais algumas práticas: registrar a versão do modelo e do prompt em cada resultado, rodar um conjunto de referência ao trocar a combinação, envolver gerentes de categoria desde cedo (eles encontraram imprecisões na tradução de cosméticos e medicamentos) e verificar manualmente uma amostra uma vez por mês. É preciso testar justamente o par «modelo + prompt», porque o mesmo prompt se comporta de forma diferente em modelos diferentes.

Limitações e conclusão

Esta é a experiência de duas tarefas específicas, o artigo não traz números de precisão e as conclusões sobre casos de nicho, como tabelas de medidas, não necessariamente se aplicam a outros domínios. Mas a lógica é universal: dá para confiar a um LLM processos com custo de erro baixo ou médio, enquanto os críticos devem ser verificados à mão até acumular um histórico de vários meses sem erros. Erros e reclamações devem ser transformados em ajustes de prompt: erro, análise, ajuste, menos erros desse tipo. No fundo, é assim que o Walmart também funciona: os linguistas não corrigem as traduções à mão, mas formulam uma regra que é aplicada a todo o catálogo.