Comment un product manager peut évaluer la qualité d'un produit d'IA : le guide des evals

Les evals, l'évaluation de la qualité d'un produit reposant sur un LLM, sont soudain devenus la compétence la plus débattue chez les product managers des entreprises d'IA. Des dirigeants d'Anthropic et d'OpenAI affirment ouvertement que savoir construire des systèmes d'évaluation est une compétence clé pour tout product manager travaillant avec des modèles de langage. Dans le podcast de Lenny Rachitsky, les chercheurs Hamel Husain et Shreya Shankar ont expliqué comment un PM doit aborder l'évaluation d'un produit d'IA, et pourquoi l'intuition ne suffit pas ici.

Ce qu'est un eval et à quoi il sert

Un eval est une vérification systématique de la façon dont un modèle de langage s'acquitte d'une tâche précise dans le contexte précis de votre produit. Contrairement au test logiciel classique, où la réponse est juste ou fausse, dans les produits à base de LLM la réponse se situe presque toujours quelque part entre les deux. Une même requête peut produire des dizaines de réponses différentes mais tout aussi acceptables, et le rôle du PM est de déterminer laquelle convient le mieux à un utilisateur donné dans une situation donnée.

La plupart des équipes commencent par juger les modèles de façon subjective : elles regardent quelques exemples et en tirent une conclusion. Cela fonctionne pour des fonctions simples, mais s'effondre complètement à grande échelle. Quand un produit reçoit un million de requêtes par jour, la relecture manuelle est impossible : il faut un système qui fonctionne de façon automatique et reproductible.

Les trois niveaux d'évaluation d'un produit d'IA

Les experts recommandent de construire les evals en trois couches successives.

La première consiste à définir les critères de succès. Avant de mesurer quoi que ce soit, le PM doit répondre à une question : qu'est-ce qu'une « bonne réponse » pour notre produit ? Cela peut être l'exactitude des faits, la cohérence avec le ton de la marque, la longueur, la structure, l'absence de toxicité ou la sécurité. Sans cette étape, toute métrique n'a aucun sens : vous mesurerez autre chose que ce qui compte pour l'utilisateur.

Le deuxième niveau consiste à constituer un « jeu de référence » (golden set). C'est une collection d'exemples de requêtes accompagnés de réponses idéales, rédigées à la main ou sélectionnées dans des données réelles. Le modèle est testé face à ce jeu à chaque mise à jour. La qualité du jeu de référence détermine directement celle de tout le système d'évaluation : c'est là que résident la principale difficulté et la principale responsabilité du PM.

Le troisième niveau est l'automatisation de l'évaluation. À ce stade, l'équipe construit un pipeline : la nouvelle version du modèle ou du prompt est passée au crible du jeu de référence, et les résultats sont comparés aux références, soit automatiquement, soit à l'aide d'un modèle juge, c'est-à-dire un autre LLM qui note les réponses. La régression apparaît immédiatement dans les chiffres, au lieu d'être découverte dans les avis des utilisateurs une semaine après la sortie.

Pourquoi le PM ne peut pas déléguer cela aux ingénieurs

La tentation de confier les evals à l'équipe technique est forte, mais c'est une erreur. Les evals sont des décisions de produit : ce qui compte pour l'utilisateur, ce qu'il considère comme une bonne réponse, quels compromis nous sommes prêts à consentir sur la vitesse ou le coût. Un ingénieur ne sait pas pourquoi l'utilisateur préfère une réponse courte à une réponse détaillée, ni pourquoi un ton « amical mais professionnel » compte davantage qu'une réponse plus précise de trois pour cent.

C'est le PM qui relie les métriques des evals aux résultats business réels. Si le modèle est devenu plus précis de cinq pour cent mais que la satisfaction des utilisateurs n'a pas bougé, c'est le critère d'évaluation lui-même qui pose problème. Repérer et corriger cet écart relève du produit, pas de l'ingénierie.

Ce que cela change pour le marché et les carrières

Il y a deux ans, le mot « evals » apparaissait surtout dans des articles universitaires. Aujourd'hui, il fait partie du roadmap standard de tout produit d'IA sérieux. Les entreprises qui ont appris à mesurer systématiquement la qualité de leurs solutions à base de LLM obtiennent un avantage concurrentiel durable : elles détectent plus vite les régressions, comparent plus précisément les modèles entre eux et décident des mises à jour à partir de données, et non des impressions subjectives de l'équipe.

Pour la carrière d'un product manager, la conclusion est sans appel : si vous travaillez sur des produits d'IA et ne savez pas construire des evals, vous perdez du terrain face aux collègues qui y parviennent. Cette compétence est devenue aussi indispensable que la maîtrise de l'entonnoir de vente ou des tests A/B.