OpenAI запустила LifeVal: бенчмарк, где агент записывает в детсад и заказывает продукты

Большинство бенчмарков спрашивают модель о том, что она знает. OpenAI предлагает другой вопрос: может ли она сделать за вас скучную жизненную рутину. Так появился LifeVal — оценка, где агент должен не посоветовать, а довести дело до результата.

Что такое LifeVal

Основой стали две крупные базы данных о том, как люди проводят время: American Time Use Survey и Multinational Time Use Study. Из них собрали каталог повседневных дел. Затем OpenAI провела собственный опрос на 3 995 респондентов, репрезентативный по демографии, и выяснила, где людям больше всего нужен личный помощник.

В итоге задачи покрывают уход за близкими, здоровье, образование, домашнее администрирование, личные финансы, покупки и госуслуги. Это не вопросы с выбором ответа. Это сценарии, в которых нужно открыть сайты, сравнить варианты, посчитать и оформить.

Как выглядят задачи

Пример: пользователь переехал и просит сравнить детские сады рядом с новым домом. Агент сужает выбор до трёх, собирает условия записи и честно говорит, что по двум предпочтениям нужно решение человека. Результат на этой задаче — 93,1%.

Другие примеры из публикации:

• найти дом в округе Luzerne по бюджету, с отдельным жилым блоком и недолгой дорогой после школы, посчитать налог на передачу и положить документ в корзину: 100%;
• составить первую неделю питания и напоминаний для родителя с новым диагнозом диабета: 90,4%;
• организовать волонтёров перед наводнением: 98,0%;
• настроить совместный просмотр матча с бабушкой с запасным вариантом на случай сбоя стрима: 96,3%.

У GPT-6 Astra в таблице лучших результатов стоят 100% на задачах вроде записи на сенсорное занятие для малыша, записи на техосмотр, заказа халяльных продуктов в рамках бюджета и отписки от рассылок.

OpenAI подчёркивает, что за год модели стали заметно быстрее и точнее в работе с браузером, компьютером и коннекторами. Именно это превращает ChatGPT из чата в агента.

Что здесь стоит учитывать

Первое: компания сама придумала бенчмарк, сама выбрала примеры и сама показывает результаты. В тексте нет описания метода оценки: кто и как решает, что задача выполнена на 93,1%, а не на 100%. Нет и сравнения с моделями конкурентов.

Второе: 100% на нескольких задачах говорит скорее о насыщении этих конкретных сценариев, чем о надёжности агента в реальной жизни. Задачи с оплатой, медициной и госуслугами требуют очень низкой цены ошибки, а средний процент это не показывает.

Третье: в примерах агент часто останавливается и спрашивает пользователя. Это хороший паттерн, но он значит, что сквозной автономности пока нет.

Что с этим делать

Продактам: смотрите на LifeVal как на карту сценариев, за которые OpenAI собирается бороться. Детсады, бюджеты, госуслуги, покупки, уход за близкими — это то, куда пойдёт агентный ChatGPT, и узкие обёртки над этими задачами окажутся под давлением.

Разработчикам агентов: перенимайте подход. Собирайте набор задач из реального поведения пользователей, а не из академических тестов, и измеряйте завершённость действия, а не качество текста. Закладывайте точки подтверждения человеком там, где ошибка дорогая.

Основателям: не принимайте цифры 90–100% за готовность рынка. Подождите независимой проверки, прежде чем строить продукт в расчёте на то, что агент без ошибок сделает покупку или заполнит форму.