LifeVal evalúa agentes de IA para tareas cotidianas: obtuvieron entre un 90,4% y un 100% en cinco pruebas

La mayoría de las pruebas de IA están diseñadas para resultar cómodas en el laboratorio: se plantea una pregunta al modelo y después se compara su respuesta con una referencia. Eso no basta para un agente de uso cotidiano. Puede explicar correctamente cómo elegir una guardería, pero no tener en cuenta el tiempo de desplazamiento, la edad del niño, los plazos de solicitud ni los documentos de una familia concreta. El usuario no evalúa lo elegante que suena el consejo, sino si la tarea está más cerca de completarse.

OpenAI presentó LifeVal, un conjunto de evaluaciones para este tipo de tareas cotidianas de varios pasos. En los ejemplos publicados, los modelos obtuvieron entre un 90,4% y un 100%: un 90,4% por un plan de alimentación y cuidados tras un diagnóstico de diabetes, un 93,1% por la selección de una guardería, un 96,3% por organizar el visionado conjunto de un partido y un 98% por coordinar voluntarios antes de una inundación. La tarea de búsqueda de vivienda obtuvo un 100%. Es importante señalar que son tareas de demostración independientes, no la precisión media de LifeVal.

Qué evalúa exactamente LifeVal

Los autores no partieron de una lista de capacidades del modelo, sino de una pregunta: ¿en qué actividades necesita realmente ayuda la gente? Para responderla, combinaron estudios sobre el uso del tiempo en Estados Unidos y otros países con su propia encuesta. La página del proyecto de OpenAI informa de 3.995 participantes, mientras que el artículo habla de más de 3.800 encuestados. El mapa resultante incluye 148 categorías, entre ellas el cuidado de seres queridos, la educación, las finanzas personales, las compras, las mudanzas, la búsqueda de empleo y el acceso a servicios públicos.

A continuación, prepararon tareas personalizadas para los escenarios más demandados. Estas utilizan el contexto de la persona, archivos de referencia, recuerdos y fragmentos anonimizados de conversaciones reales con ChatGPT. Los creadores de las tareas debían tener experiencia personal en la resolución del problema correspondiente, redactar los criterios de evaluación y superar al menos tres etapas de control de calidad.

Un ejemplo sencillo: una familia se muda y pide ayuda para elegir una guardería. Un buen agente no se limita a ofrecer una lista de centros. Compara la distancia, los requisitos de admisión y las preferencias de la familia; reúne opciones adecuadas; desglosa el proceso de matriculación paso a paso; y señala por separado las decisiones que no pueden tomarse sin una persona. Se evalúa el resultado completo, no una única recomendación acertada.

Por qué es importante para los desarrolladores

LifeVal desplaza la unidad de medida desde la respuesta hasta el escenario completado. Para un equipo de producto, esto ofrece una referencia práctica: la prueba de un agente debe incluir búsquedas, trabajo con el navegador y archivos, uso del contexto personal, una solicitud de confirmación antes de realizar una acción sensible y un resultado claro para el usuario.

Este enfoque ayuda a detectar errores que no se ven en un chat convencional. El agente puede encontrar el formulario correcto, pero elegir el documento destinado a otra región. Puede elaborar un presupuesto, pero omitir un pago periódico. Puede continuar trabajando con seguridad pese a carecer de una condición crítica. Por eso conviene medir no solo la calidad del texto final, sino también la proporción de pasos completados, el número de supuestos sin verificar, la exactitud de las fuentes y la capacidad de devolver la decisión a una persona en el momento adecuado.

Dónde hace falta cautela

LifeVal fue creado por OpenAI y ya se ha utilizado para mejorar sus modelos. Es una herramienta interna útil, pero los elevados resultados publicados no pueden extrapolarse automáticamente a cualquier consulta, país o interfaz. La página no ofrece una única puntuación agregada que permita comparar de manera justa todos los modelos, y los escenarios personalizados son especialmente sensibles a la integridad del contexto y a las herramientas disponibles.

También existe un riesgo de producto: un agente de uso cotidiano trabaja con finanzas, salud, circunstancias familiares y documentos públicos. Cuanto más realista sea la evaluación, más estrictas deben ser las reglas de anonimización de datos, delimitación del acceso, registro de acciones y confirmación de operaciones.

La conclusión práctica es sencilla: los equipos deberían crear su propio LifeVal reducido con entre 20 y 30 escenarios reales de usuarios. Para cada uno hay que describir los datos iniciales, las acciones permitidas, las comprobaciones obligatorias, el momento en que debe transferirse el control a una persona y un resultado medible. Un conjunto así mostrará la preparación del agente para convertirse en producto más rápido que otra prueba de conocimientos generales.