Como um gerente de produto pode avaliar a qualidade de um produto de AI: guia de evals

Evals — avaliação da qualidade de um produto LLM — de repente se tornaram a habilidade mais discutida entre gerentes de produto em empresas de IA. Executivos seniores da Anthropic e OpenAI abertamente chamam a capacidade de construir sistemas de avaliação de uma competência-chave para qualquer gerente de produto trabalhando com modelos de linguagem. No podcast de Lenny Rachitsky, os pesquisadores Hamil Hussein e Shreya Shankar desmembraram como PMs devem abordar a avaliação de um produto de IA — e por que intuição não funciona aqui.

O que é um eval e por que é necessário

Um eval é uma verificação sistemática de quão bem um modelo de linguagem executa uma tarefa específica no contexto específico do seu produto. Diferente dos testes clássicos de software, onde uma resposta está certa ou errada, em produtos LLM a resposta quase sempre fica em algum lugar no meio. A mesma consulta pode produzir dezenas de respostas diferentes, mas igualmente aceitáveis — e o trabalho do PM é entender qual é melhor para um usuário específico em uma situação específica.

A maioria das equipes no início avalia modelos subjetivamente: olham alguns exemplos e tiram conclusões. Isso funciona para funções simples, mas quebra completamente ao escalar. Quando um produto recebe um milhão de solicitações por dia, revisão manual é impossível — você precisa de um sistema que funciona automaticamente e reproduzivelmente.

Três níveis de avaliação de um produto de IA

Especialistas recomendam construir evals em três camadas consecutivas.

O primeiro é definir critérios de sucesso. Antes de medir qualquer coisa, um PM deve responder a pergunta: o que significa uma "boa resposta" para nosso produto? Pode ser precisão factual, alinhamento de tom de marca, comprimento, estrutura, ausência de toxicidade ou segurança. Sem essa etapa, qualquer métrica é sem sentido — você estará medindo algo que não importa ao usuário.

O segundo nível é montar um "conjunto ouro". Esta é uma coleção de consultas de exemplo com respostas ideais, criadas manualmente ou selecionadas de dados reais. O modelo é testado contra esse conjunto a cada atualização. A qualidade do conjunto ouro determina diretamente a qualidade de todo o sistema de avaliação — este é tanto o principal desafio quanto a principal responsabilidade do PM.

O terceiro nível é automatizar a avaliação. Nesta etapa, a equipe constrói um pipeline: uma nova versão do modelo ou prompt é executada através do conjunto ouro, resultados são comparados com padrões — automaticamente ou usando um modelo de juiz, ou seja, outro LLM que avalia respostas. A regressão é imediatamente visível em números, não descoberta em feedback de usuários uma semana após o lançamento.

Por que o PM não pode delegar isso aos engenheiros

A tentação de passar evals para a equipe técnica é grande, mas é um erro. Evals são decisões de produto: o que importa ao usuário, o que ele considera uma boa resposta, que trade-offs estamos dispostos a fazer pela velocidade ou custo. Um engenheiro não sabe por que um usuário prefere uma resposta breve a uma longa, ou por que um tom "amigável mas profissional" é três por cento mais importante do que uma resposta ligeiramente mais precisa.

É o PM quem constrói a conexão entre métricas de eval e resultados de negócios reais. Se o modelo ficou cinco por cento mais preciso, mas a satisfação do usuário não mudou — algo está errado com os próprios critérios de avaliação. Encontrar e corrigir essa incompatibilidade é uma tarefa de produto, não de engenharia.

O que isso significa para o mercado e carreira

Dois anos atrás, a palavra "evals" aparecia principalmente em artigos acadêmicos. Hoje é uma parte padrão do roadmap de qualquer produto de IA sério. Empresas que aprenderam a medir sistematicamente a qualidade de suas soluções LLM ganham uma vantagem competitiva sustentável: detectam regressões mais rapidamente, comparam modelos com mais precisão e tomam decisões de atualização com base em dados, não em sentimentos subjetivos da equipe.

Para a carreira de um gerente de produto, a conclusão é direta: se você trabalha com produtos de IA e não sabe como construir evals — você está perdendo para colegas que sabem. Essa habilidade se tornou tão essencial quanto saber trabalhar com um funil de vendas ou conduzir testes A/B.