À l'EMNLP, un relecteur IA a rédigé des avis trois fois plus longs que ceux des humains

Vous soumettez une hypothèse produit à un modèle et vous recevez vingt remarques : ajouter une comparaison, élargir l'échantillon, vérifier trois autres scénarios. Cela ressemble à un travail minutieux. Mais lesquelles de ces exigences sont susceptibles de changer la décision de lancement ? Dans la synthèse de l'EMNLP, la chercheuse d'AIRI Maria Marina décrit un problème similaire avec les relectures automatiques d'articles scientifiques. Ce sujet intéresse tous ceux qui utilisent l'IA pour contrôler le travail d'autrui.

Selon son récit, l'un des systèmes rédigeait des avis dont la longueur médiane dépassait de plus du triple celle des avis humains. Dans le même temps, les auteurs des articles jugeaient la critique des modèles moins convaincante. La situation est familière : il y a davantage de texte, mais c'est toujours à l'humain de démêler les priorités.

Ce que les organisateurs ont testé

L'expérience décrite impliquait trois variantes de relecteurs IA : le système AAAI sur GPT-5.4 et ReviewerToo avec les modèles GPT-OSS-120B et GLM-4.7 Flash. Les auteurs recevaient volontairement les avis générés et en évaluaient la qualité. Le comité qui prenait les décisions de publication n'a pas vu ces avis. Ainsi, l'expérience étudiait l'utilité du retour d'information, et non la possibilité de sélectionner automatiquement les travaux scientifiques.

D'après les évaluations citées dans la synthèse, les modèles restituaient bien le contenu des recherches et relevaient les points forts. Les remarques critiques étaient moins réussies. Le système sur GPT-5.4 s'est montré particulièrement prolixe ; pour les deux autres variantes, l'écart avec les avis humains était plus faible.

Marina rapporte par ailleurs les reproches d'auteurs ayant refusé de participer : l'IA s'accroche aux détails et exige des expériences supplémentaires, en sous-estimant la nouveauté de l'idée. Il importe ici de distinguer les sources des conclusions. Il s'agit de commentaires de participants qui ont refusé, et non d'un résultat mesuré de la comparaison de tous les avis. La synthèse ne permet pas non plus de considérer chaque exigence du modèle comme erronée.

Pourquoi une liste de remarques peut gêner

Imaginons une équipe qui vérifie si un nouveau moteur de recherche aide les employés à trouver plus vite les instructions. Le modèle propose d'élargir l'échantillon, de comparer plusieurs méthodes de classement, d'ajouter d'autres langues et de mesurer les résultats après six mois. Chaque recommandation semble raisonnable. Mais pour la décision immédiate, leur poids diffère.

Si la mesure initiale du temps de recherche n'est pas fiable, la conclusion principale est réellement remise en question. Tester une autre langue peut devenir nécessaire plus tard, quand l'équipe abordera un nouveau marché. Si l'on réunit ces deux remarques dans une seule liste obligatoire, un petit pilote se transforme aisément en projet de plusieurs mois. C'est une illustration du risque pratique, et non un résultat de l'expérience de l'EMNLP.

La même logique vaut pour la relecture scientifique : l'absence d'une comparaison importante peut invalider une conclusion, alors qu'un test supplémentaire ne fait qu'élargir son champ d'application. Dans la synthèse, Marina propose de regarder plus attentivement l'apport de la recherche et de séparer les vérifications nécessaires des souhaits de rendre un travail déjà important encore plus vaste.

Pourtant, un long avis ne prouve rien en soi. Il peut contenir des trouvailles utiles. Et le mécontentement de l'auteur ne signifie pas non plus que le relecteur a tort : une remarque désagréable pointe parfois une faiblesse réelle. Il faut vérifier chaque objection substantielle à l'aune des matériaux du travail.

Comment l'appliquer en équipe

De l'expérience décrite, on peut tirer une méthode de travail : demander au modèle de relier chaque remarque à une décision précise. Quelle conclusion conteste-t-il ? Sur quel passage du document s'appuie-t-il ? Quelle vérification minimale permettrait de trancher ? Que changera-t-il si la remarque se confirme ?

Ensuite, il est plus facile pour l'humain de distinguer les erreurs bloquant la décision des améliorations qui peuvent attendre. Par exemple, l'exigence d'ajouter une expérience doit s'accompagner d'une explication de l'incertitude qu'elle lève. Sans cela, l'équipe risque de perdre du temps sur des souhaits formulés de façon convaincante.

Pour évaluer le relecteur IA lui-même, il est utile de regarder combien de ses remarques se sont confirmées et combien d'erreurs importantes il a laissé passer. C'est une conclusion éditoriale pour la pratique ; la synthèse ne fournit pas de telles métriques. Elle montre une chose plus étroite : les participants appréciaient davantage le résumé et la description des qualités que la qualité de la critique.

Il est donc déjà raisonnable de confier à un modèle l'analyse préliminaire, si l'équipe en vérifie les résultats. Mais décider si les preuves suffisent pour passer à l'étape suivante exige de comprendre la tâche, le coût d'une vérification supplémentaire et les conséquences d'une erreur. Le volume d'un avis généré ne réduit pas automatiquement ce travail.