Comment un chef de produit peut évaluer la qualité d’un produit AI : guide des evals

Les evals — l'évaluation de la qualité d'un produit LLM — sont soudainement devenues la compétence la plus discutée parmi les chefs de produit dans les entreprises d'IA. Les cadres supérieurs d'Anthropic et d'OpenAI appellent ouvertement la capacité à construire des systèmes d'évaluation une compétence clé pour tout chef de produit travaillant avec des modèles de langage. Dans le podcast de Lenny Rachitsky, les chercheurs Hamil Hussein et Shreya Shankar ont décomposé comment les PM devraient aborder l'évaluation d'un produit IA — et pourquoi l'intuition ne fonctionne pas ici.

Qu'est-ce qu'un eval et pourquoi en avons-nous besoin

Un eval est une vérification systématique de la capacité d'un modèle de langage à accomplir une tâche spécifique dans le contexte spécifique de votre produit. Contrairement aux tests logiciels classiques, où une réponse est soit correcte, soit incorrecte, dans les produits LLM, la réponse se situe presque toujours quelque part au milieu. La même requête peut produire des dizaines de réponses différentes, mais également acceptables — et le travail du PM est de comprendre laquelle est la meilleure pour un utilisateur spécifique dans une situation spécifique.

La plupart des équipes au départ évaluent les modèles de manière subjective : elles observent quelques exemples et tirent des conclusions. Cela fonctionne pour les fonctions simples, mais se casse complètement lors de la mise à l'échelle. Quand un produit reçoit un million de requêtes par jour, l'examen manuel est impossible — vous avez besoin d'un système qui fonctionne automatiquement et de manière reproductible.

Trois niveaux d'évaluation d'un produit IA

Les experts recommandent de construire les evals en trois couches successives.

Le premier est la définition des critères de succès. Avant de mesurer quoi que ce soit, un PM doit répondre à la question : qu'est-ce qu'une « bonne réponse » pour notre produit ? Cela peut être la précision des faits, l'alignement du ton de marque, la longueur, la structure, l'absence de toxicité ou la sécurité. Sans cette étape, toute métrique est dénuée de sens — vous mesurerez quelque chose qui n'a pas d'importance pour l'utilisateur.

Le deuxième niveau est l'assemblage d'un « ensemble or ». C'est une collection de requêtes d'exemple avec des réponses idéales, créées manuellement ou sélectionnées à partir de données réelles. Le modèle est testé contre cet ensemble à chaque mise à jour. La qualité de l'ensemble or détermine directement la qualité de tout le système d'évaluation — c'est à la fois le principal défi et la principale responsabilité du PM.

Le troisième niveau est l'automatisation de l'évaluation. À ce stade, l'équipe construit un pipeline : une nouvelle version du modèle ou du prompt est exécutée via l'ensemble or, les résultats sont comparés aux normes — automatiquement ou à l'aide d'un modèle de juge, c'est-à-dire un autre LLM qui évalue les réponses. La régression est immédiatement visible dans les chiffres, non découverte dans les commentaires des utilisateurs une semaine après le lancement.

Pourquoi le PM ne peut pas déléguer ceci aux ingénieurs

La tentation de confier les evals à l'équipe technique est grande, mais c'est une erreur. Les evals sont des décisions de produit : ce qui importe à l'utilisateur, ce qu'il considère comme une bonne réponse, les compromis que nous sommes prêts à accepter pour la vitesse ou le coût. Un ingénieur ne sait pas pourquoi un utilisateur préfère une réponse brève à une réponse développée, ou pourquoi un ton « amical mais professionnel » est trois pour cent plus important qu'une réponse légèrement plus précise.

C'est le PM qui établit le lien entre les métriques d'eval et les résultats commerciaux réels. Si le modèle est devenu cinq pour cent plus précis, mais la satisfaction des utilisateurs n'a pas changé — quelque chose ne va pas avec le critère d'évaluation lui-même. Trouver et corriger cette inadéquation est une tâche de produit, non d'ingénierie.

Ce que cela signifie pour le marché et la carrière

Il y a deux ans, le mot « evals » n'apparaissait principalement que dans des articles académiques. Aujourd'hui, c'est une partie standard de la feuille de route de tout produit IA sérieux. Les entreprises qui ont appris à mesurer systématiquement la qualité de leurs solutions LLM gagnent un avantage concurrentiel durable : elles détectent les régressions plus rapidement, comparent les modèles plus précisément et prennent des décisions de mise à jour basées sur les données, et non sur les sentiments subjectifs de l'équipe.

Pour la carrière d'un chef de produit, la conclusion est directe : si vous travaillez avec des produits IA et que vous ne savez pas comment construire des evals — vous perdez face aux collègues qui savent. Cette compétence est devenue aussi essentielle que de savoir travailler avec un entonnoir de vente ou de mener des tests A/B.