Anthropic Fable 5.2 réalise 41 % de vraies missions freelance — il y a un an, le leader en réussissait 2,5 %

Il y a un an, le meilleur agent d'IA réalisait 2,5 % des vraies missions freelance. Aujourd'hui, Fable 5.2 d'Anthropic atteint 41,3 %. Il ne s'agit ni d'exercices pédagogiques ni de compétences isolées, mais de vrais projets Upwork que le client est prêt à accepter et à payer. Voyons ce qui a été mesuré exactement et ce qu'il faut en retenir concrètement.

Comment fonctionne le test

Le Remote Labor Index (RLI) a été conçu par Scale Labs et le Center for AI Safety. Il repose sur 240 projets terminés, réalisés par 358 professionnels vérifiés d'Upwork. L'ensemble représente environ 144 000 dollars. Une commande moyenne coûte 632,60 dollars et demande à un freelance humain près de 29 heures. Les tâches sont variées : montage vidéo, conception CAO, développement de jeux, analyse de données.

L'agent reçoit un poste de travail virtuel équipé de logiciels professionnels courants comme Blender, GIMP et Audacity, ainsi que d'outils d'IA pour générer des images, du son et de la vidéo. Exemple de commande : dessiner le plan d'une salle de bains, proposer des variantes d'aménagement et produire des rendus photoréalistes.

Le travail est évalué par des experts formés, et ce de façon manuelle. Ils ouvrent les fichiers livrés dans des logiciels professionnels et comparent le résultat à ce qu'a livré l'humain. Les tentatives de confier l'évaluation à un autre modèle ont jusqu'ici échoué. Les juges IA savent à peine utiliser ces logiciels ; ils se laissent donc tromper par des travaux d'apparence soignée mais techniquement cassés de l'intérieur. Résultat : ils gonflent fortement les notes.

Les chiffres : une avance sur tous

Voici l'évolution sur un an :

• il y a environ un an, le leader, Manus, réalisait 2,5 % des commandes ;
• en juillet, Fable 5 était en tête avec environ 16 %, soit une hausse de plus de quatre fois en huit mois ;
• Fable 5.1 obtient un peu moins de 18 % ;
• Fable 5.2 atteint 41,3 %, soit environ 2,5 fois le résultat de Fable 5 en juillet.

Viennent ensuite Opus 5.5 d'Anthropic (21,25 %) et GPT 6 Astra d'OpenAI (20,83 %). Fable 5.2 réussit presque deux fois mieux que ses concurrents les plus proches. Le meilleur modèle de Google, Gemini Argon 4, se classe cinquième avec 17,08 %. Les anciens GPT-5.2 et Gemini 3 Pro restent sous la barre des 3 %.

Près de 50 livraisons réussies de Fable 5.2 portent sur des tâches qu'aucun agent du test n'avait résolues avant lui.

Où le modèle excelle, et où il reste faible

Selon Scale Labs, la plus forte progression de Fable 5.2 concerne l'édition audio et musicale, la conception architecturale et d'intérieur, et la création de modèles 3D. L'agent vient en outre à bout de projets longs et complexes, sur lesquels les précédents leaders échouaient régulièrement.

Le design industriel et l'animation résistent presque totalement. Quand les agents échouent, ils livrent généralement un travail de qualité amateur, un résultat incomplet, des fichiers corrompus ou un design incohérent.

Que faire de tout cela

D'abord, les limites du chiffre. 41,3 % correspond à la part de commandes sur un échantillon de 240 projets. Dans plus de la moitié des cas, l'agent ne parvient toujours pas à un niveau professionnel. De plus, les résultats ont été publiés par Scale Labs et n'ont pas encore été reproduits de façon indépendante.

Les conclusions pratiques sont les suivantes :

• Pour les product managers et les fondateurs. Évaluez les agents sur des tâches complètes, « du brief au fichier », et non sur des compétences isolées. Prévoyez une validation humaine : le résultat de l'agent doit être ouvert dans le logiciel de travail. La vérification automatique par un autre modèle sur des artefacts visuels et de fichiers reste peu fiable, et le RLI l'a montré.
• Pour les développeurs de systèmes agentiques. Les principales pertes viennent des fichiers corrompus et des contradictions internes au projet, pas d'idées faibles. Ajoutez des contrôles d'intégrité des fichiers de sortie et une vérification du résultat par rapport au brief initial.
• Pour les freelances. La pression est la plus forte en audio, en 3D et en design d'intérieur. La valeur se déplace vers la formulation des tâches et le contrôle qualité, là où l'agent reste aveugle.

Le principal signal n'est pas le chiffre lui-même, mais le rythme. Une progression de 2,5 % à 41,3 % en un an signifie que la frontière du « l'agent s'en sort seul » devra être réévaluée plus souvent qu'une fois par an.