Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)

Fable 5.2 довела до приемлемого качества 41,3% фриланс-проектов в RLI

Поручить агенту заказ целиком сложнее, чем попросить написать код: клиенту нужны рабочие файлы и результат по брифу. В Remote Labor Index Fable 5.2 получила зачёт за 41,3% проектов — против 17,92% у предыдущей версии. Эксперты сравнивают работу ИИ с принятым результатом фрилансера и оценивают, устроила бы она разумного клиента. Для команды это повод проверить агента на своих заказах, сохранив приёмку человеком.

AI-обработка оригинала TG: @ai_machinelearning_big_data (Machinelearning); редакция Hamidun News
Fable 5.2 довела до приемлемого качества 41,3% фриланс-проектов в RLI
Источник: TG: @ai_machinelearning_big_data (Machinelearning). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @ai_machinelearning_big_data (Machinelearning) ↗
Главный редактор
Ближайшие соперники получили около 21%разрыв почти двукратный.
Ключевой факт #2Общий балл не показывает надёжность агента в конкретной профессии.
Ключевой факт #3В пилоте проверяйте исходники, качество и затраты на исправления.

Вы поручаете ИИ подготовить трёхмерную сцену для карточки товара. Через час агент сообщает: всё готово. Но открывается ли проект? Можно ли поменять материал корпуса? Совпадают ли размеры с заданием? Именно на такой дистанции между красивым ответом и пригодной работой часто ломается обещание автоматизации.

В Remote Labor Index у Fable 5.2 зачли 41,3% проектов. По сравнению с 17,92% у Fable 5.1 это рост на 23,38 процентного пункта. Для разработчика или основателя здесь есть конкретный повод для эксперимента: проверить, какие законченные задания уже можно передавать агенту под контролем специалиста.

Что означает результат в 41,3%

В таблице Scale Labs Fable 5.2 опережает Opus 5.5 с 21,25% и GPT 6 Astra с 20,83%. Получается почти двукратный разрыв с ближайшими соперниками. Однако сам процент требует аккуратного прочтения: это доля зачтённых проектов внутри определённого набора заданий и условий проверки.

Работу агента оценивают эксперты, сопоставляя её с профессиональным результатом человека. Ключевой вопрос — удовлетворяет ли она брифу настолько, чтобы разумный клиент согласился её принять. Такое сравнение приближает оценку к повседневной работе команд, где недостаточно продемонстрировать отдельный удачный шаг.

При этом 41,3% нельзя читать как вероятность успеха любого вашего заказа. У команды могут быть другие требования, форматы и распределение задач. И даже на самом бенчмарке большинство проектов пока остаётся за пределами зачёта.

Как проверить это на собственном процессе

Вернёмся к сцене для карточки товара. Это условный пример, а не опубликованный результат отдельного задания Fable. Допустим, заказ включает модель предмета, освещение, несколько ракурсов и редактируемый исходник. Красивого изображения для приёмки недостаточно: следующему дизайнеру ещё предстоит работать с этим файлом.

Практический пилот стоит строить вокруг полного комплекта сдачи. Дайте агенту тот же бриф и исходные материалы, которые получил бы подрядчик. Заранее запишите критерии: нужные размеры, состав файлов, возможность редактирования, соответствие референсам. Затем передайте результат специалисту, который умеет принимать такую работу.

Попросите проверяющего отдельно зафиксировать время на исправления. Агент может быстро подготовить основу, но потребовать долгой ручной доработки. Для бизнеса эти часы входят в стоимость результата вместе с расходами на запуск и проверку.

Полезно также сохранять неудачные попытки. Если система регулярно теряет текстуры или пропускает часть требований, появляется конкретная инженерная задача: добавить проверку комплекта файлов, уточнить входные данные или ограничить область применения. Одного среднего балла для такого решения мало.

Где заканчиваются выводы из таблицы

В исходном Telegram-посте отдельно заявлены успехи в звуке, архитектуре и трёхмерном моделировании, а также почти 50 задач, впервые решённых какой-либо системой. На открытой странице рейтинга эти подробности не подтверждены отдельным разбором Fable 5.2. Использовать их как основание для выбора инструмента пока рано.

Есть и ограничение самого сравнения: RLI исключает проекты, требующие прямого общения с клиентом. В реальном заказе согласование ожиданий, уточнение спорного требования и реакция на правки могут занимать существенную часть работы. Поэтому результат теста не описывает весь цикл отношений с заказчиком. Методология RLI также указывает, что у показателя Automation Rate нет доверительного интервала.

Для продакта разумный следующий шаг — выбрать повторяемый тип заданий с понятной приёмкой и провести небольшой внутренний пилот. Решение о внедрении стоит принимать по доле принятых результатов, времени специалиста и итоговой стоимости. Рост до 41,3% делает такую проверку интереснее; экономический эффект команде всё ещё предстоит измерить самой.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что означает результат в 41,3%?

В таблице Scale Labs Fable 5.2 опережает Opus 5.5 с 21,25% и GPT 6 Astra с 20,83%. Получается почти двукратный разрыв с ближайшими соперниками. Однако сам процент требует аккуратного прочтения: это доля зачтённых проектов внутри определённого набора заданий и условий проверки. Работу агента оценивают эксперты, сопоставляя её с профессиональным результатом человека. Ключевой вопрос — удовлетворяет ли она брифу настолько, чтобы разумный клиент согласился её принять.

Что известно по теме: как проверить это на собственном процессе?

Вернёмся к сцене для карточки товара. Это условный пример, а не опубликованный результат отдельного задания Fable. Допустим, заказ включает модель предмета, освещение, несколько ракурсов и редактируемый исходник. Красивого изображения для приёмки недостаточно: следующему дизайнеру ещё предстоит работать с этим файлом. Практический пилот стоит строить вокруг полного комплекта сдачи. Дайте агенту тот же бриф и исходные материалы, которые получил бы подрядчик.

Что известно по теме: где заканчиваются выводы из таблицы?

В исходном Telegram-посте отдельно заявлены успехи в звуке, архитектуре и трёхмерном моделировании, а также почти 50 задач, впервые решённых какой-либо системой. На открытой странице рейтинга эти подробности не подтверждены отдельным разбором Fable 5.2. Использовать их как основание для выбора инструмента пока рано. Есть и ограничение самого сравнения: RLI исключает проекты, требующие прямого общения с клиентом.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…