Агенты на Remote Labor Index выросли с 2,5% до 41,3% за год

Большинство бенчмарков для агентов выглядят одинаково: решить задачу из репозитория, ответить на вопросы, пройти симуляцию магазина. Всё это далеко от того, за что люди платят деньги. Remote Labor Index устроен иначе, и поэтому цифра из свежего поста в Telegram заслуживает внимания.

Что именно измеряет индекс

Remote Labor Index (RLI) придумали в Scale AI и Center for AI Safety осенью 2025 года. Идея простая: взять реальные проекты, которые заказчики размещали на фриланс-биржах, отдать их агенту и показать результат тому, кто платил. Если заказчик говорит «это на уровне человека или лучше», задача засчитана. Итоговая метрика — доля таких проектов.

В первой версии лучший агент набрал 2,5%. Сейчас, по посту, показатель вырос до 41,3%. Это рост примерно в 16 раз за год.

Ещё важнее состав задач. Индекс охватывает 23 категории: 3D и CAD, архитектуру, графический дизайн, видео и анимацию, аудио и многое другое. Код — лишь одна из них. Для продакта или основателя это главный сигнал: агенты выходят за пределы программирования, где их привыкли оценивать.

Как читать цифру 41,3%

Представьте заказ на фрилансе: «сделай 30-секундный анимированный ролик для лендинга». Раньше агент выдавал что-то, что заказчик сразу отправлял в корзину. Теперь в четырёх из десяти подобных случаев результат принимают как рабочий. Это не значит, что агент заменил студию. Это значит, что на каждом втором-третьем заказе вам уже нет смысла сразу идти к человеку.

Но у цифры есть оговорки, и пост их не раскрывает:

• Неясно, какая модель или система набрала 41,3%. Может быть, это один агент, а может, лучший результат среди многих.
• В посте нет ссылки на первоисточник, только на Telegram-канал автора. Таблицу результатов нужно смотреть на сайте самого индекса.
• Оценка заказчика остаётся субъективной. «Не хуже человека» на разовом проекте не гарантирует стабильности на потоке из сотни заказов.
• Оставшиеся около 59% задач агент по-прежнему не закрывает. Нередко это самые сложные и дорогие проекты.

Итог такой: тренд реальный, но точный масштаб лучше проверять по источнику, а не по пересказу.

Безработица или нет

Автор поста шутит про безработицу, и шутка болезненная. Но на практике такие метрики редко превращаются в «заменили человека целиком». Чаще меняется структура работы: агент делает первый черновик, человек проверяет и дорабатывает. Для фриланса это давление на цены в простых заказах и рост спроса на тех, кто умеет принимать результат и ставить задачи.

Что делать на практике

Разработчикам и продактам стоит сделать три вещи.

1. Взять свои типовые задачи вне кода: макеты, иллюстрации, короткое видео, озвучка, простые CAD-модели. Прогнать их через современных агентов и сравнить с человеческим результатом по вашим критериям качества.
2. Выстроить приёмку. Если агент попадает в стандарт в 40% случаев, ценность создаёт тот, кто быстро отсеивает остальные 60% и не тратит на них время.
3. Следить за индексом как за барометром. Для планирования найма и бюджета полезнее динамика по категориям, чем одна общая цифра.

Главный вывод: год назад можно было спокойно сказать, что агенты не справляются с настоящей работой. Сейчас это утверждение уже требует проверки по конкретным задачам.