LifeVal проверяет бытовых ИИ-агентов: в пяти задачах они набрали 90,4–100%

Большинство тестов ИИ устроены удобно для лаборатории: модели дают вопрос, затем сверяют ответ с эталоном. Для бытового агента этого мало. Он может правильно объяснить, как выбрать детский сад, но не учесть время в дороге, возраст ребёнка, сроки подачи заявления и документы конкретной семьи. Пользователь же оценивает не красоту совета, а то, стало ли дело ближе к завершению.

OpenAI представила LifeVal — набор проверок для таких многошаговых бытовых задач. В опубликованных примерах модели получили от 90,4% до 100%: 90,4% за план питания и ухода после диагноза диабета, 93,1% за подбор детского сада, 96,3% за организацию совместного просмотра матча и 98% за координацию волонтёров перед наводнением. В задаче поиска жилья показан результат 100%. Важно: это отдельные демонстрационные задания, а не средняя точность LifeVal.

Что именно проверяет LifeVal

Авторы начали не со списка способностей модели, а с вопроса: в каких делах людям действительно нужна помощь. Для этого они сопоставили исследования использования времени в США и других странах с собственным опросом. На странице проекта OpenAI сообщает о 3 995 участниках; в статье говорится о более чем 3 800 респондентах. Итоговая карта включает 148 категорий — уход за близкими, образование, личные финансы, покупки, переезд, поиск работы и получение государственных услуг.

Затем для востребованных сценариев подготовили персонализированные задания. В них используются контекст человека, справочные файлы, воспоминания и обезличенные фрагменты реальных разговоров с ChatGPT. Создатели заданий должны были иметь личный опыт решения соответствующей проблемы, написать критерии оценки и пройти не менее трёх этапов проверки качества.

Простой пример: семья переезжает и просит подобрать детский сад. Хороший агент не ограничивается списком учреждений. Он сравнивает расстояние, условия приёма и предпочтения семьи, собирает подходящие варианты, раскладывает процесс зачисления по шагам и отдельно отмечает решения, которые нельзя принять без человека. Оценивается весь результат, а не одно удачное предложение.

Почему это важно разработчикам

LifeVal сдвигает единицу измерения с ответа на завершённый сценарий. Для продуктовой команды это практичный ориентир: тест агента должен включать поиск, работу с браузером и файлами, использование личного контекста, запрос подтверждения перед чувствительным действием и понятный итог для пользователя.

Такой подход помогает обнаружить ошибки, которые не видны в обычном чате. Агент может найти верную форму, но выбрать документ для другого региона. Может составить бюджет, но пропустить регулярный платёж. Может уверенно продолжить работу, хотя ему не хватает одного критичного условия. Поэтому полезно измерять не только качество финального текста, но и долю завершённых шагов, число неподтверждённых предположений, корректность источников и способность вовремя передать решение человеку.

Где нужна осторожность

LifeVal создан OpenAI и уже использовался для улучшения её моделей. Это полезный внутренний инструмент, но опубликованные высокие результаты нельзя автоматически переносить на любой запрос, страну или интерфейс. На странице нет единого сводного балла, позволяющего честно сравнить все модели, а персонализированные сценарии особенно чувствительны к полноте контекста и доступным инструментам.

Есть и продуктовый риск: бытовой агент работает с финансами, здоровьем, семейными обстоятельствами и государственными документами. Чем реалистичнее проверка, тем строже должны быть правила обезличивания данных, разграничения доступа, журналирования действий и подтверждения операций.

Практический вывод простой: командам стоит собрать собственный небольшой LifeVal из 20–30 реальных пользовательских сценариев. Для каждого нужно описать исходные данные, допустимые действия, обязательные проверки, момент передачи управления человеку и измеримый результат. Такой набор быстрее покажет готовность агента к продукту, чем ещё один тест на общие знания.