OpenAI probó agentes cotidianos en 169 tareas y detectó su punto débil

La mayoría de las pruebas para IA están pensadas para comodidad de los desarrolladores y se parecen poco a la vida real. El modelo responde una pregunta, el sistema compara la respuesta con una de referencia y en la tabla aparece un porcentaje más. Pero lo que suele necesitar el usuario no es un párrafo correcto. Necesita encontrar una guardería tras una mudanza, preparar el presupuesto familiar, rellenar una solicitud u organizar el cuidado de un familiar.

OpenAI presentó LifeVal, una prueba de 169 tareas personalizadas en las que el agente no solo debe razonar, sino actuar: leer el historial de conversaciones, tener en cuenta archivos, usar un navegador, modificar datos en aplicaciones y crear materiales terminados. Es un intento de medir la diferencia entre «el modelo lo explica bien» y «la tarea realmente está hecha».

Cómo es la evaluación en la práctica

Imaginemos una tarea: una familia se ha mudado y pide ayuda para elegir una guardería. Un chatbot corriente enumerará criterios generales de elección. En LifeVal, el agente recibe la dirección, las preferencias de la familia, conversaciones anteriores y acceso a un entorno de trabajo. Debe encontrar opciones adecuadas, comprobar las condiciones de admisión, elaborar una lista corta y señalar las decisiones que no se pueden tomar sin una persona.

No se puntúa lo convincente que sea el texto. El modelo evaluador ve la solicitud original, los criterios de la tarea, los archivos creados y los cambios en el estado del sistema. Si el agente escribió que rellenó un formulario pero este sigue vacío, no hay puntos por esa acción. Intentar acceder a la interfaz interna del entorno de pruebas en lugar del sitio web normal se considera un hackeo y anula el resultado.

El conjunto de tareas se elaboró a partir de estudios de uso del tiempo y una encuesta a usuarios. En el estudio participaron 3837 personas y el mapa final abarcó 148 categorías de gestiones cotidianas: finanzas personales, mudanzas, búsqueda de empleo, compras, educación, salud, cuidado de seres queridos y obtención de servicios públicos. Las tareas las crearon personas con experiencia práctica y cada una pasó después por al menos tres etapas de revisión manual.

Dónde siguen fallando los agentes

El problema más revelador es la información o recomendación incorrecta. Un agente puede ejecutar con seguridad una larga cadena de acciones y, aun así, pasar por alto un detalle importante de una conversación anterior del usuario. Para una tarea cotidiana basta con eso para que todo el resultado resulte inútil: elegir una vivienda fuera del presupuesto, pedir un producto con un alérgeno o escoger un servicio inadecuado.

También hay un conflicto sutil entre autonomía y seguridad. Los modelos más prudentes se detienen con más frecuencia en el límite de la decisión: no completan la acción sin confirmación o informan de que no pudieron verificar los datos. En la tabla parece un fracaso, aunque en un producto real a veces es justo así como debe comportarse un agente fiable.

Tampoco LifeVal puede considerarse una medida definitiva de calidad. La encuesta se realizó en Estados Unidos y en inglés, por lo que el conjunto no refleja todos los países ni costumbres. El valor de las tareas se basa en la disposición declarada a pagar, no en años de observación del comportamiento real. Parte de los datos web cambia con el tiempo, así que ejecuciones repetidas pueden dar resultados distintos. Por último, los dos evaluadores automáticos están construidos sobre modelos de la propia OpenAI, lo que exige cautela al interpretar las cifras.

Qué debe llevarse un equipo de producto

La idea central de LifeVal es más útil que cualquier clasificación concreta de modelos. Las pruebas de aceptación de un agente conviene construirlas en torno al resultado completado: si apareció el archivo, si cambió el campo necesario, si se respetaron las restricciones del usuario, si el agente pidió confirmación antes de una acción arriesgada. Por separado hay que probar la memoria, la recuperación tras errores y la capacidad de detenerse con honestidad.

Para el desarrollador, esto supone pasar de un conjunto de demostraciones vistosas a escenarios reproducibles con un estado inicial, un resultado medible y un registro de acciones. Para el responsable de producto, implica definir de antemano dónde puede actuar el agente por sí solo y dónde debe devolver el control a la persona. Es en esos límites donde se decide si el sistema será un asistente o solo una interfaz muy charlatana.