Como o product manager pode avaliar a qualidade de um produto de IA: guia de evals

Os evals, a avaliação da qualidade de um produto baseado em LLM, viraram de repente a habilidade mais comentada entre os product managers de empresas de IA. Executivos da Anthropic e da OpenAI afirmam abertamente que saber construir sistemas de avaliação é uma competência central para qualquer product manager que trabalhe com modelos de linguagem. No podcast de Lenny Rachitsky, os pesquisadores Hamel Husain e Shreya Shankar explicaram como o PM deve encarar a avaliação de um produto de IA e por que a intuição não funciona nesse caso.

O que é um eval e para que serve

Um eval é uma verificação sistemática de quão bem um modelo de linguagem resolve uma tarefa específica no contexto específico do seu produto. Diferentemente do teste de software clássico, em que a resposta está certa ou errada, nos produtos com LLM a resposta quase sempre fica em algum ponto intermediário. Uma mesma consulta pode gerar dezenas de respostas diferentes, porém igualmente aceitáveis, e o trabalho do PM é entender qual delas é a melhor para um usuário específico em uma situação específica.

A maioria das equipes começa avaliando os modelos de forma subjetiva: olha alguns exemplos e tira uma conclusão. Isso funciona para funcionalidades simples, mas desmorona por completo na escala. Quando um produto recebe um milhão de solicitações por dia, a revisão manual é inviável: é preciso um sistema que funcione de modo automático e reproduzível.

Três níveis de avaliação de um produto de IA

Os especialistas propõem construir os evals em três camadas sucessivas.

A primeira é definir os critérios de sucesso. Antes de medir qualquer coisa, o PM precisa responder: o que é uma "boa resposta" para o nosso produto? Pode ser precisão factual, alinhamento com o tom da marca, tamanho, estrutura, ausência de toxicidade ou segurança. Sem esse passo, qualquer métrica não faz sentido: você estará medindo algo diferente do que importa ao usuário.

O segundo nível é montar um "conjunto de ouro". É uma coleção de exemplos de consultas com respostas ideais, criadas à mão ou selecionadas de dados reais. O modelo é testado contra esse conjunto a cada atualização. A qualidade do conjunto de ouro determina diretamente a qualidade de todo o sistema de avaliação, e aí estão a maior dificuldade e a maior responsabilidade do PM.

O terceiro nível é automatizar a avaliação. Nessa etapa, a equipe monta um pipeline: a nova versão do modelo ou do prompt é executada sobre o conjunto de ouro, e os resultados são comparados com as referências, de forma automática ou com um modelo juiz, isto é, outro LLM que avalia as respostas. A regressão aparece de imediato nos números, em vez de ser descoberta nas avaliações dos usuários uma semana após o lançamento.

Por que o PM não pode delegar isso aos engenheiros

A tentação de passar os evals para a equipe técnica é grande, mas é um erro. Evals são decisões de produto: o que importa ao usuário, o que ele considera uma boa resposta, quais concessões estamos dispostos a fazer por velocidade ou custo. O engenheiro não sabe por que o usuário prefere uma resposta curta a uma detalhada, nem por que o tom "amigável, mas profissional" pesa mais do que uma resposta três por cento mais precisa.

É o PM quem liga as métricas dos evals aos resultados reais de negócio. Se o modelo ficou cinco por cento mais preciso, mas a satisfação dos usuários não mudou, há algo errado no próprio critério de avaliação. Encontrar e corrigir essa discrepância é tarefa de produto, não de engenharia.

O que isso significa para o mercado e a carreira

Há dois anos, a palavra "evals" aparecia principalmente em artigos acadêmicos. Hoje ela faz parte padrão do roadmap de qualquer produto de IA sério. As empresas que aprenderam a medir de forma sistemática a qualidade de suas soluções com LLM ganham uma vantagem competitiva duradoura: detectam regressões mais rápido, comparam modelos entre si com mais precisão e decidem sobre atualizações com base em dados, e não nas impressões subjetivas da equipe.

Para a carreira do PM, a conclusão é direta: se você trabalha com produtos de IA e não sabe construir evals, está perdendo para colegas que sabem. Essa habilidade se tornou tão obrigatória quanto saber trabalhar com o funil de vendas ou conduzir testes A/B.