OpenRSI Index dépasse les 133 000 vues : mesurer l'IA à l'aune des chercheurs

Le projet OpenRSI Index, qui cherche à répondre à la question « à quelle distance l'IA se trouve-t-elle du niveau des chercheurs de pointe ? », a réuni plus de 133 000 vues sous son post de lancement sur X. Le sujet est aussi apparu dans la rubrique Today's News de la plateforme. L'information vient du média chinois Jiqizhixin. Le fragment accessible de l'article ne dévoile pas la méthodologie de l'indice ; nous distinguons donc ci-dessous ce que l'on sait de ce qui reste à vérifier.

Ce que l'on sait à ce stade

Les faits sont peu nombreux et portent surtout sur la réaction du public, non sur le contenu du projet :

• nom : OpenRSI Index (la publication emploie aussi OpenRSI-Index) ;
• plateforme de lancement : X, avec un post de lancement qui dépasse 133 000 vues ;
• signal distinct : une mention dans Today's News, où la plateforme met en avant les discussions remarquées ;
• cadrage de la question : combien de temps reste-t-il avant que l'IA ne surpasse les chercheurs de pointe.

D'après le nom, on peut supposer que RSI renvoie à l'auto-amélioration récursive (recursive self-improvement), c'est-à-dire à une IA qui accélère le développement de l'IA elle-même. La source ne confirme pas ce développement de l'acronyme dans le fragment cité : il s'agit donc d'une hypothèse.

Pourquoi le sujet est passé des classements à la science

Le titre de l'original oppose le fait de « gonfler les classements » à celui de « faire de la science ». Il renvoie à un problème bien connu : les benchmarks classiques arrivent à saturation. Les modèles atteignent le plafond, et un écart de quelques points de pourcentage dit peu de chose sur la capacité à mener une recherche.

L'industrie a déjà tenté de s'orienter vers des tâches plus réalistes. OpenAI a publié MLE-bench, construit à partir de 75 compétitions Kaggle, et PaperBench, où un agent reproduit des travaux issus de la conférence ICML. METR a proposé RE-Bench : un ensemble d'environnements d'ingénierie de la recherche, où les résultats des agents sont comparés à ceux d'experts humains. Tous ces projets évaluent des fragments du travail d'un chercheur. Un indice unique, qui prétend se comparer aux scientifiques de pointe, doit couvrir davantage : formulation d'hypothèses, conception d'expériences, analyse des échecs et choix de l'étape suivante.

Ce que la méthodologie doit montrer

Un fort intérêt ne dit encore rien de la qualité de la mesure. Pour juger OpenRSI Index, il faut des réponses à plusieurs questions :

• De quelles tâches l'indice se compose-t-il, et dans quelle mesure ressemblent-elles à un véritable travail de recherche ?
• Qui sont les « chercheurs de pointe », et comment leur niveau de référence est-il défini : moyen, meilleur, limité dans le temps ?
• Comment la fuite des données de test vers les jeux d'entraînement est-elle exclue ?
• Qui évalue le résultat : des métriques automatiques, des experts ou un autre modèle ?
• Les données et le code sont-ils ouverts (le mot Open dans le nom le laisse entendre), et peut-on reproduire les chiffres de manière indépendante ?
• Que considère-t-on exactement comme de la « supériorité » : la vitesse, la précision, la nouveauté du résultat ?

Sans réponses, tout chiffre final du type « l'IA a fait 40 % du chemin » reste séduisant, mais difficilement vérifiable.

Conclusion pratique

Pour les équipes qui bâtissent des produits à base d'agents ou qui planifient des processus de recherche avec l'IA, trois mesures s'imposent pour l'instant. D'abord, attendre la publication de la méthodologie et vérifier si la composition des tâches correspond aux vôtres. Ensuite, ne pas appliquer l'indice final à votre propre travail, mais tester les modèles sur un jeu interne de cas réels, en mesurant le temps et le taux d'erreurs. Enfin, face à toute affirmation de « supériorité sur les scientifiques », demander sur quel horizon les tâches ont été évaluées : des heures ou des semaines de travail donnent des tableaux différents.

L'intérêt suscité par OpenRSI Index montre que la question des IA chercheuses dépasse déjà le cercle étroit des spécialistes. La crédibilité de l'indice dépendra de détails qui ne sont pas encore accessibles publiquement.