OpenAI lanza LifeVal, un benchmark en el que un agente matricula a niños en una guardería y pide alimentos

La mayoría de los benchmarks preguntan a un modelo qué sabe. OpenAI plantea otra pregunta: ¿puede encargarse por ti de las tediosas rutinas de la vida diaria? Así nace LifeVal, una evaluación en la que el agente no debe limitarse a aconsejar, sino completar la tarea.

Que es LifeVal

El proyecto se basa en dos grandes conjuntos de datos sobre cómo emplean su tiempo las personas: American Time Use Survey y Multinational Time Use Study. A partir de ellos se elaboró un catálogo de actividades cotidianas. Después, OpenAI realizó su propia encuesta demográficamente representativa a 3.995 participantes para averiguar en qué ámbitos necesita más la gente un asistente personal.

Las tareas resultantes abarcan el cuidado de familiares, la salud, la educación, la administración del hogar, las finanzas personales, las compras y los servicios públicos. No son preguntas de opción múltiple. Son escenarios que exigen abrir sitios web, comparar alternativas, hacer cálculos y completar trámites o transacciones.

Como son las tareas

Un ejemplo: un usuario se ha mudado y pide comparar guarderías cercanas a su nueva vivienda. El agente reduce la selección a tres opciones, recopila los requisitos de matriculación y explica con claridad que dos preferencias requieren una decisión humana. El resultado en esta tarea es del 93,1%.

Otros ejemplos de la publicación:

• encontrar una vivienda en el condado de Luzerne dentro del presupuesto, con una unidad residencial independiente y un trayecto corto después de la escuela, calcular el impuesto de transferencia y añadir el documento al carrito: 100%;
• preparar la primera semana de comidas y recordatorios para un progenitor al que acaban de diagnosticar diabetes: 90,4%;
• organizar voluntarios ante la llegada de una inundación: 98,0%;
• configurar una sesión para ver un partido con la abuela e incluir una alternativa por si falla la retransmisión: 96,3%.

En la tabla de mejores resultados, GPT-6 Astra alcanza el 100% en tareas como reservar una actividad sensorial para un niño pequeño, concertar una inspección técnica del vehículo, pedir alimentos halal dentro del presupuesto y darse de baja de listas de correo.

OpenAI subraya que, durante el último año, los modelos se han vuelto notablemente más rápidos y precisos al trabajar con navegadores, ordenadores y conectores. Eso es precisamente lo que convierte ChatGPT de un chat en un agente.

Que conviene tener en cuenta

Primero: la propia empresa diseñó el benchmark, seleccionó los ejemplos y presenta los resultados. El texto no describe el método de evaluación: quién decide y cómo que una tarea se ha completado al 93,1% y no al 100%. Tampoco incluye comparaciones con modelos de la competencia.

Segundo: alcanzar el 100% en unas pocas tareas indica más bien que esos escenarios concretos están saturados, no que el agente sea fiable en la vida real. Las tareas relacionadas con pagos, medicina y servicios públicos exigen una tasa de error extremadamente baja, algo que un porcentaje medio no demuestra.

Tercero: en los ejemplos, el agente se detiene con frecuencia y consulta al usuario. Es un buen patrón, pero también significa que todavía no existe una autonomía integral de principio a fin.

Que hacer con esta informacion

Para los equipos de producto: conviene ver LifeVal como un mapa de los escenarios por los que OpenAI pretende competir. Guarderías, presupuestos, servicios públicos, compras y cuidado de familiares son los ámbitos hacia los que se dirige el ChatGPT agéntico, y las interfaces especializadas que solo envuelven estas tareas estarán bajo presión.

Para los desarrolladores de agentes: adopten el enfoque. Construyan conjuntos de tareas a partir del comportamiento real de los usuarios, no de pruebas académicas, y midan si la acción se completó, no la calidad del texto. Incorporen puntos de confirmación humana allí donde un error resulte costoso.

Para los fundadores: no interpreten las cifras del 90–100% como una señal de que el mercado está preparado. Esperen una verificación independiente antes de crear un producto que dependa de que el agente realice una compra o complete un formulario sin errores.