OpenAI lance LifeVal, un benchmark où l’agent inscrit un enfant à la crèche et commande des courses

La plupart des benchmarks interrogent un modèle sur ce qu’il sait. OpenAI pose une autre question : peut-il prendre en charge à votre place les tâches fastidieuses du quotidien ? C’est ainsi qu’est né LifeVal, une évaluation dans laquelle l’agent ne doit pas se contenter de donner des conseils, mais mener une tâche jusqu’à son aboutissement.

Qu’est-ce que LifeVal ?

LifeVal s’appuie sur deux grandes bases de données consacrées à la manière dont les gens utilisent leur temps : l’American Time Use Survey et la Multinational Time Use Study. Elles ont servi à constituer un catalogue d’activités quotidiennes. OpenAI a ensuite mené sa propre enquête auprès de 3 995 personnes, avec un échantillon représentatif sur le plan démographique, afin de déterminer dans quels domaines les utilisateurs avaient le plus besoin d’un assistant personnel.

Les tâches couvrent finalement l’aide aux proches, la santé, l’éducation, l’administration du foyer, les finances personnelles, les achats et les services publics. Il ne s’agit pas de questions à choix multiple, mais de scénarios dans lesquels il faut ouvrir des sites, comparer des options, effectuer des calculs et finaliser une démarche.

À quoi ressemblent les tâches ?

Exemple : un utilisateur vient de déménager et demande de comparer les crèches situées près de son nouveau domicile. L’agent réduit la sélection à trois établissements, rassemble leurs conditions d’inscription et indique honnêtement que deux préférences nécessitent une décision humaine. Résultat pour cette tâche : 93,1 %.

Autres exemples tirés de la publication :

• trouver dans le comté de Luzerne une maison respectant le budget, dotée d’un espace de vie indépendant et située à une courte distance après l’école, calculer les droits de mutation et placer le document dans le panier : 100 % ;
• préparer la première semaine de repas et de rappels pour un parent venant de recevoir un diagnostic de diabète : 90,4 % ;
• organiser des bénévoles avant une inondation : 98,0 % ;
• configurer le visionnage partagé d’un match avec sa grand-mère, avec une solution de secours en cas de panne du streaming : 96,3 %.

Dans le tableau des meilleurs résultats, GPT-6 Astra obtient 100 % sur des tâches telles que l’inscription d’un jeune enfant à une activité sensorielle, la prise de rendez-vous pour un contrôle technique, la commande de produits halal dans les limites d’un budget et le désabonnement de listes de diffusion.

OpenAI souligne qu’en un an, les modèles sont devenus sensiblement plus rapides et plus précis lorsqu’ils utilisent un navigateur, un ordinateur et des connecteurs. C’est précisément ce qui transforme ChatGPT d’un outil conversationnel en agent.

Ce qu’il faut garder à l’esprit

Premièrement, l’entreprise a elle-même conçu le benchmark, sélectionné les exemples et publié les résultats. Le texte ne décrit pas la méthode d’évaluation : on ignore qui décide, et selon quels critères, qu’une tâche est accomplie à 93,1 % plutôt qu’à 100 %. Il n’y a pas non plus de comparaison avec les modèles concurrents.

Deuxièmement, obtenir 100 % sur plusieurs tâches traduit davantage la saturation de ces scénarios précis que la fiabilité de l’agent dans la vie réelle. Les tâches liées aux paiements, à la santé et aux services publics exigent un taux d’erreur extrêmement faible, ce qu’une moyenne en pourcentage ne permet pas d’établir.

Troisièmement, dans les exemples, l’agent s’arrête souvent pour interroger l’utilisateur. C’est une bonne pratique, mais cela signifie qu’il ne dispose pas encore d’une autonomie complète de bout en bout.

Que faire de ces résultats ?

Pour les équipes produit : considérez LifeVal comme une carte des scénarios que vise OpenAI. Crèches, budgets, services publics, achats et aide aux proches constituent les domaines vers lesquels se dirige ChatGPT en mode agent, et les solutions spécialisées bâties autour de ces tâches subiront une pression croissante.

Pour les développeurs d’agents : adoptez cette approche. Constituez vos ensembles de tâches à partir du comportement réel des utilisateurs plutôt que de tests académiques, et mesurez l’achèvement de l’action plutôt que la qualité du texte. Prévoyez une validation humaine lorsque le coût d’une erreur est élevé.

Pour les fondateurs : ne prenez pas les scores de 90 à 100 % pour une preuve que le marché est prêt. Attendez une vérification indépendante avant de concevoir un produit en partant du principe que l’agent effectuera sans erreur un achat ou remplira un formulaire.