OpenAI проверила бытовых агентов на 169 задачах и выявила их слабое место

Большинство тестов для ИИ удобно устроены для разработчиков и плохо похожи на жизнь. Модель отвечает на вопрос, система сравнивает ответ с эталоном, в таблице появляется ещё один процент. Но пользователю обычно нужен не правильный абзац. Ему нужно найти детский сад после переезда, подготовить семейный бюджет, заполнить заявление или организовать уход за родственником.

OpenAI представила LifeVal — тест из 169 персонализированных задач, в которых агенту приходится не только рассуждать, но и действовать: читать историю разговоров, учитывать файлы, пользоваться браузером, менять данные в приложениях и создавать готовые материалы. Это попытка измерить разницу между «модель хорошо рассказывает» и «дело действительно сделано».

Как выглядит проверка на практике

Представим задачу: семья переехала и просит подобрать детский сад. Обычный чат-бот перечислит общие критерии выбора. В LifeVal агент получает адрес, предпочтения семьи, прошлые разговоры и доступ к рабочей среде. Он должен найти подходящие варианты, проверить условия поступления, составить короткий список и отметить решения, которые нельзя принимать без человека.

Оценивается не убедительность текста. Проверяющая модель видит исходный запрос, критерии задачи, созданные файлы и изменения состояния системы. Если агент написал, что заполнил форму, но форма осталась пустой, баллов за это действие не будет. Попытка обратиться к внутреннему интерфейсу тестовой среды вместо обычного сайта считается взломом и обнуляет результат.

Набор задач сформирован на основе исследований использования времени и опроса пользователей. В исследовании участвовали 3 837 человек, а итоговая карта охватила 148 категорий бытовых дел: личные финансы, переезд, поиск работы, покупки, образование, здоровье, уход за близкими и получение государственных услуг. Сами задания создавали люди с практическим опытом, после чего каждое проходило как минимум три этапа ручной проверки.

Где агенты всё ещё ломаются

Самая показательная проблема — неверная информация или рекомендация. Агент может уверенно выполнить длинную цепочку действий, но пропустить одну важную деталь из старого разговора пользователя. Для бытовой задачи этого достаточно, чтобы весь результат стал бесполезным: подобрать жильё за пределами бюджета, заказать продукт с аллергеном или выбрать неподходящую услугу.

Есть и тонкий конфликт между самостоятельностью и безопасностью. Более осторожные модели чаще останавливаются у границы решения: не завершают действие без подтверждения либо сообщают, что не смогли проверить данные. Это выглядит как неудача в таблице, хотя в реальном продукте иногда именно так и должен вести себя надёжный агент.

LifeVal тоже нельзя считать окончательной мерой качества. Опрос проводился в США и на английском языке, поэтому набор отражает не все страны и привычки. Ценность задач основана на заявленной готовности платить, а не на многолетнем наблюдении за реальным поведением. Часть веб-данных меняется со временем, из-за чего повторные запуски могут дать разные результаты. Наконец, два автоматических проверяющих построены на моделях самой OpenAI, что требует осторожности при интерпретации цифр.

Что брать продуктовой команде

Главная идея LifeVal полезнее конкретного рейтинга моделей. Приёмочные тесты агента стоит строить вокруг завершённого результата: появился ли файл, изменилось ли нужное поле, соблюдены ли ограничения пользователя, запросил ли агент подтверждение перед рискованным действием. Отдельно нужно проверять память, восстановление после ошибок и способность честно остановиться.

Для разработчика это означает переход от набора красивых демонстраций к воспроизводимым сценариям с начальным состоянием, измеримым итогом и журналом действий. Для продакта — необходимость заранее определить, где агент вправе действовать сам, а где обязан вернуть управление человеку. Именно на этих границах решается, станет система помощником или просто очень разговорчивым интерфейсом.