Claude surpasse les experts en relecture critique : les éditeurs ont préféré l'IA dans 87 % des évaluations

Vous avez rédigé un rapport d'expérience, mais avant de l'envoyer à la direction, vous aimeriez recevoir les questions qui dérangent : où la conclusion devance les données, quelle explication a été omise, ce qu'il faut revérifier. Des chercheurs de Harvard ont testé une tâche similaire sur des manuscrits scientifiques. Le résultat donne une raison d'essayer Claude pour une première analyse critique des documents au sein d'une équipe. Par exemple, lui demander ce qui, d'autre, peut expliquer la hausse de la conversion avant de déclarer la nouvelle interface gagnante.

Ce qui a été comparé à Harvard

Gary King et Stephen Worthington ont utilisé 124 manuscrits et 134 relectures expertes du service rapidPeer. Il s'agit d'un examen préliminaire avant l'envoi d'un article à une revue. Les experts étaient rémunérés ; 88 % des 74 auteurs interrogés ont jugé les retours reçus très bons. Claude Opus 4.8 a préparé des relectures alternatives à partir des manuscrits et des consignes : avec recherche web et sans outils externes.

Trois anciens rédacteurs en chef de revues ont évalué à l'aveugle les mêmes dix paires de relectures. Ils ont choisi Claude dans 26 évaluations sur 30, soit environ 87 %. Les éditeurs n'ont pas vérifié les manuscrits eux-mêmes. Un juge distinct, GPT-5.5, a préféré l'IA dans les 132 paires ayant un vainqueur net dans la variante avec recherche ; sans recherche, l'avantage a également subsisté. Les auteurs n'ont pas mesuré l'amélioration des articles après les remarques. Le travail est publié sous forme de document de travail sur le site de Harvard.

Pour le lecteur, le dénominateur est ici particulièrement important : les trente évaluations d'éditeurs portent sur dix paires examinées par trois personnes. Il serait donc trop audacieux d'en faire la promesse que « l'IA est meilleure que n'importe quel expert dans 87 % des tâches ». Il s'agit du résultat d'une comparaison précise de relectures.

Comment appliquer l'idée à un rapport produit

Imaginons un exemple. Une équipe a modifié l'écran d'inscription et écrit : « La conversion a augmenté de 12 %, on déploie pour tout le monde ». Le product manager envoie au modèle la description de l'expérience, le tableau des résultats et les critères de décision. La demande : énumérer les faiblesses de la conclusion, indiquer les passages du document qui les étayent et proposer des vérifications.

Une réponse utile doit poser des questions concrètes. Les utilisateurs ont-ils été répartis aléatoirement ? Les groupes ont-ils été observés pendant la même durée ? La hausse de 12 % est-elle relative, ou s'agit-il de points de pourcentage ? La nouvelle version a-t-elle reçu davantage d'utilisateurs issus d'un autre canal publicitaire ? C'est un exemple d'analyse souhaitable, et non un épisode de l'expérience de Harvard.

Ensuite, l'analyste vérifie les remarques. Si la répartition était aléatoire et que cela figure explicitement en annexe, l'objection du modèle est une erreur. Si la composition du trafic différait réellement, l'équipe a une raison de revoir sa conclusion avant le lancement. La valeur d'un tel assistant se mesure aux problèmes trouvés et au temps nécessaire pour les vérifier.

Un développeur peut faire un essai analogue pour une proposition d'architecture : joindre les exigences, les contraintes et le schéma, puis demander de trouver des scénarios de défaillance. Un fondateur peut faire vérifier une note sur l'économie du produit à la recherche d'hypothèses cachées. Chaque transposition appelle sa propre évaluation : la comparaison de Harvard ne dit rien, en soi, de la qualité de l'analyse de votre architecture ou de votre modèle financier.

Que vérifier avant le déploiement

Le plus simple est de commencer par quelques projets terminés dont on connaît déjà les problèmes passés inaperçus. Préparez les documents tels que l'équipe les a vus avant la décision et obtenez l'analyse du modèle. Demandez à des collègues d'évaluer les remarques sans en indiquer l'auteur. Comptez séparément les trouvailles confirmées, les fausses objections et le coût de vérification. Une relecture joliment rédigée obtient facilement une bonne note ; une erreur trouvée constitue un critère plus concret.

Pour le travail courant, un format de réponse simple est utile : problème, endroit dans le document, conséquence possible, moyen de vérification. Il permet de passer rapidement de la lecture à l'action. Si le modèle écrit « la méthodologie n'est pas assez convaincante », demandez-lui de nommer l'hypothèse précise et d'expliquer quel résultat devrait faire changer la conclusion.

Le résultat de Harvard mérite l'attention précisément comme prétexte pour mener une telle expérience chez soi. Une première analyse accessible peut aider l'équipe à repérer plus tôt un point faible. La décision de déployer doit être prise après un test sur vos propres documents : combien de remarques utiles vous avez obtenues et combien de temps vous avez passé à traiter les autres.