LifeVal évalue les agents d’IA du quotidien : ils ont obtenu de 90,4 % à 100 % sur cinq tâches

La plupart des tests d’IA sont conçus pour le laboratoire : une question est posée au modèle, puis sa réponse est comparée à une référence. Cela ne suffit pas pour un agent du quotidien. Celui-ci peut expliquer correctement comment choisir une crèche, mais négliger le temps de trajet, l’âge de l’enfant, les dates limites d’inscription et les documents propres à une famille donnée. Or l’utilisateur n’évalue pas l’élégance du conseil, mais la progression réelle de la tâche vers son achèvement.

OpenAI a présenté LifeVal, un ensemble d’évaluations destiné à ces tâches quotidiennes en plusieurs étapes. Dans les exemples publiés, les modèles ont obtenu de 90,4 % à 100 % : 90,4 % pour un programme d’alimentation et de soins après un diagnostic de diabète, 93,1 % pour la sélection d’une crèche, 96,3 % pour l’organisation d’un visionnage collectif d’un match et 98 % pour la coordination de bénévoles avant une inondation. La tâche de recherche d’un logement affiche un résultat de 100 %. Point important : il s’agit de tâches de démonstration distinctes, et non de la précision moyenne de LifeVal.

Ce que LifeVal évalue précisément

Les auteurs ne sont pas partis d’une liste de capacités des modèles, mais d’une question : pour quelles activités les gens ont-ils réellement besoin d’aide ? Pour y répondre, ils ont croisé des études sur l’emploi du temps menées aux États-Unis et dans d’autres pays avec leur propre enquête. La page du projet d’OpenAI mentionne 3 995 participants, tandis que l’article parle de plus de 3 800 répondants. La cartographie finale comprend 148 catégories : soins aux proches, éducation, finances personnelles, achats, déménagement, recherche d’emploi et accès aux services publics.

Des tâches personnalisées ont ensuite été préparées pour les scénarios les plus demandés. Elles s’appuient sur le contexte de la personne, des fichiers de référence, des souvenirs et des extraits anonymisés de conversations réelles avec ChatGPT. Les créateurs des tâches devaient avoir une expérience personnelle du problème concerné, rédiger les critères d’évaluation et franchir au moins trois étapes de contrôle qualité.

Prenons un exemple simple : une famille déménage et demande de trouver une crèche. Un bon agent ne se contente pas d’une liste d’établissements. Il compare les distances, les conditions d’admission et les préférences de la famille, rassemble les options adaptées, détaille les étapes de l’inscription et signale séparément les décisions qui ne peuvent être prises sans intervention humaine. C’est l’ensemble du résultat qui est évalué, et non une seule recommandation réussie.

Pourquoi cela compte pour les développeurs

LifeVal déplace l’unité de mesure de la réponse vers le scénario achevé. Pour une équipe produit, c’est un repère concret : le test d’un agent doit inclure la recherche, l’utilisation du navigateur et des fichiers, la prise en compte du contexte personnel, la demande de confirmation avant une action sensible et la présentation d’un résultat clair à l’utilisateur.

Cette approche aide à détecter des erreurs invisibles dans une conversation classique. Un agent peut trouver le bon formulaire, mais choisir le document destiné à une autre région. Il peut établir un budget, mais omettre un paiement récurrent. Il peut poursuivre son travail avec assurance alors qu’une condition critique lui manque. Il est donc utile de mesurer non seulement la qualité du texte final, mais aussi la part des étapes réalisées, le nombre d’hypothèses non vérifiées, la fiabilité des sources et la capacité à transmettre la décision à un humain au bon moment.

Les points qui appellent à la prudence

LifeVal a été créé par OpenAI et a déjà servi à améliorer ses modèles. C’est un outil interne utile, mais les excellents résultats publiés ne peuvent pas être automatiquement extrapolés à n’importe quelle requête, à n’importe quel pays ou à n’importe quelle interface. La page ne présente pas de score récapitulatif unique permettant de comparer équitablement tous les modèles, et les scénarios personnalisés sont particulièrement sensibles à l’exhaustivité du contexte et aux outils disponibles.

Il existe également un risque produit : un agent du quotidien traite des finances, de la santé, des situations familiales et des documents administratifs. Plus l’évaluation est réaliste, plus les règles d’anonymisation des données, de contrôle des accès, de journalisation des actions et de confirmation des opérations doivent être strictes.

La conclusion pratique est simple : les équipes devraient constituer leur propre petit LifeVal à partir de 20 à 30 scénarios utilisateurs réels. Pour chacun, il faut décrire les données initiales, les actions autorisées, les vérifications obligatoires, le moment où le contrôle doit être transmis à un humain et le résultat mesurable. Un tel ensemble révélera plus rapidement si l’agent est prêt pour un produit qu’un énième test de connaissances générales.