ApprenticeBench: агенты обошли людей-тестировщиков, но стоят в 2,5 раза дороже

Любой, кто выводил нового сотрудника на проект, знает: сложнее всего не сама задача, а контекст вокруг неё. Где лежат конфиги, как у нас принято называть ветки, почему этот сервис нельзя трогать по пятницам. Большинство бенчмарков для агентов этого не проверяют. Они дают чистую задачу и смотрят, решилась ли она. Команда LMSYS Org обратила внимание на новую работу, которая пытается закрыть этот пробел.

Что такое ApprenticeBench

ApprenticeBench проверяет агентов в режиме онбординга. Агент не получает идеально сформулированное ТЗ. Он должен, как новичок, разобраться в соглашениях компании, освоить её инструменты и подхватить то, что нигде не записано: так называемое неявное знание. Это ближе к реальной работе, чем классические тесты вроде «исправь баг в изолированном репозитории».

Результаты представил Yu Su из NeoCognition. Это сообщение из соцсети, а не полный отчёт, поэтому подробностей мало. Мы не знаем, сколько в бенчмарке задач, какие именно компании и инструменты он имитирует и как устроена оценка. Эти детали надо смотреть в первоисточнике, прежде чем делать выводы.

Что известно о цифрах

Главный тезис такой: передовые модели превзошли людей-тестировщиков по доле успешно выполненных задач. Но за это приходится платить: стоимость одной задачи у агентов в 2,5 раза выше.

Оба факта важны одновременно. Первый говорит, что агенты уже способны учиться на контексте, а не только выполнять инструкции. Второй напоминает, что «лучше» не значит «выгоднее». Если человек стоит X за задачу, а агент 2,5X, то при сопоставимом качестве бизнес-кейс не очевиден. Выигрыш может появиться в скорости, масштабируемости и круглосуточной работе, но только если это действительно нужно.

Стоит помнить и про сравнение. «Люди-тестировщики» не обязательно равны опытным сотрудникам компании. Преимущество агента над человеком, который видит окружение впервые, не доказывает преимущества над специалистом с годами опыта. Как именно измерялась стоимость человека, тоже пока неясно.

Что с этим делать

Первое: если вы строите агента для внутренних процессов, проверяйте его не на чистых задачах, а на «грязном» контексте. Дайте ему вики, устаревшие инструкции, нестандартные названия и посмотрите, как он справляется. Именно здесь агенты чаще всего ломаются в продакшене.

Второе: ведите учёт стоимости успешного результата, а не стоимости токенов. Метрика «цена одной корректно закрытой задачи» честнее и сразу показывает, где агент дороже человека. Если ему нужны долгие циклы проб и ошибок, счёт растёт быстро.

Третье: думайте о том, как агент накапливает знание. Онбординг по определению не должен повторяться с нуля при каждом запуске. Память, документация для агентов и явно записанные соглашения могут снизить и стоимость, и число ошибок.

Итог осторожный. ApprenticeBench выглядит как шаг к более реалистичной оценке агентов, а заявленный результат интересен. Но пока это пост с главными цифрами, а не детальный разбор. Дождитесь методологии и данных, прежде чем строить на них планы по замене людей.