Anthropic Fable 5.2 выполняет 41% реальных фриланс-заказов — год назад лидер брал 2,5%

Год назад лучший ИИ-агент закрывал 2,5% реальных фриланс-заказов. Теперь Fable 5.2 от Anthropic доходит до 41,3%. Это не учебные задачки и не изолированные навыки, а настоящие проекты с Upwork, которые клиент готов принять и оплатить. Разберём, что именно измеряли и что из этого следует на практике.

Как устроен тест

Remote Labor Index (RLI) сделали Scale Labs и Center for AI Safety. В основе лежат 240 завершённых проектов от 358 проверенных профессионалов с Upwork. Все вместе они стоят около 144 000 долларов. Средний заказ обходится в 632,60 доллара и занимает у живого фрилансера почти 29 часов. Задачи разные: монтаж видео, CAD-проектирование, разработка игр, анализ данных.

Агент получает виртуальное рабочее место с привычным профессиональным софтом вроде Blender, GIMP и Audacity, плюс ИИ-инструменты для генерации изображений, звука и видео. Пример заказа: нарисовать планировку ванной комнаты, подобрать варианты обстановки и сделать фотореалистичные рендеры.

Принимают работу обученные эксперты, и делают это вручную. Они открывают сданные файлы в профессиональных программах и сравнивают результат с тем, что сдал человек. Попытки поручить проверку другой модели пока провалились. ИИ-судьи почти не умеют работать в этом софте, поэтому их обманывают работы, которые снаружи выглядят аккуратно, а внутри технически сломаны. В итоге они сильно завышают оценки.

Цифры: отрыв от всех

Динамика за год выглядит так:

• около года назад лидер, Manus, выполнял 2,5% заказов;
• в июле впереди был Fable 5 с примерно 16%, то есть рост более чем вчетверо за восемь месяцев;
• Fable 5.1 набирает чуть меньше 18%;
• Fable 5.2 берёт 41,3%, примерно в 2,5 раза больше июльского результата Fable 5.

Следом идут Opus 5.5 от Anthropic (21,25%) и GPT 6 Astra от OpenAI (20,83%). Fable 5.2 почти вдвое успешнее ближайших конкурентов. Лучшая модель Google, Gemini Argon 4, на пятом месте с 17,08%. Старые GPT-5.2 и Gemini 3 Pro остаются ниже 3%.

Почти 50 успешных сдач Fable 5.2 — это задачи, которые до неё не решал ни один агент в тесте.

Где модель сильна, а где всё ещё слаба

По данным Scale Labs, самый большой рост у Fable 5.2 в редактировании аудио и музыки, проектировании архитектуры и интерьеров и создании 3D-моделей. Кроме того, агент справляется с длинными сложными проектами, на которых прежние лидеры регулярно проваливались.

Почти не поддаются промышленный дизайн и анимации. Когда агенты терпят неудачу, они обычно сдают работу любительского качества, неполный результат, битые файлы или противоречивый дизайн.

Что с этим делать

Сначала о границах цифры. 41,3% — это доля заказов на выборке из 240 проектов. Больше половины работ агент по-прежнему не закрывает на профессиональном уровне. Кроме того, результаты опубликованы Scale Labs, и независимо их пока не воспроизводили.

Практические выводы такие:

• Продактам и основателям. Оценивайте агентов на цельных задачах «от брифа до файла», а не на отдельных навыках. Закладывайте человеческую приёмку: результат агента нужно открывать в рабочем софте. Автоматическая проверка другой моделью на визуальных и файловых артефактах пока ненадёжна, и RLI это показал.
• Разработчикам агентных систем. Главные потери — битые файлы и противоречия внутри проекта, а не слабые идеи. Добавляйте проверки целостности выходных файлов и сверку результата с исходным брифом.
• Фрилансерам. Давление сильнее всего в аудио, 3D и интерьерах. Ценность смещается в сторону постановки задач и контроля качества, где агент пока слеп.

Главный сигнал не в самой цифре, а в темпе. Рост с 2,5% до 41,3% за год означает, что границу «агент справится сам» придётся пересматривать чаще, чем раз в год.