Le modèle chinois AREX-2, construit sur une base 27B, devance un modèle de 1,6 billion de paramètres

Un modèle de 27 milliards de paramètres aurait surpassé un système de 1,6 billion de paramètres, affirment des chercheurs chinois. L'écart de taille atteint presque un facteur 60. Le groupe AREX, issu de l'Académie d'intelligence artificielle de Pékin (BAAI), de l'Université des sciences et technologies de Chine (USTC) et de l'Université Renmin de Chine, présente AREX-2. Le modèle s'appuie sur la base légère Qwen3.8-27B et a été entraîné sur des données de « longue réflexion » issues de tâches de machine learning et de programmation algorithmique.

La réflexion plutôt que des paramètres en plus

La voie habituelle vers un modèle performant en code consiste à augmenter le nombre de paramètres, à élargir le corpus et à ajouter de l'apprentissage par renforcement sur des tâches vérifiables. AREX-2 emprunte un autre chemin. Ses auteurs ont construit leurs données d'entraînement autour d'un long cycle « tentative, analyse, correction ». Le modèle ne se limite pas à un seul passage : il revient sur sa propre solution, repère le point faible et retravaille l'algorithme.

Le domaine n'a pas été choisi au hasard. En ingénierie ML comme en programmation algorithmique, le résultat se mesure : le code passe les tests ou non, la métrique monte ou baisse. Le retour d'information y est donc fiable, et l'on peut collecter et vérifier de longues trajectoires d'amélioration.

Pourquoi la comparaison 27B contre 1,6T attire l'attention

L'étude met en avant un contraste de tailles. Si des mesures indépendantes confirment le résultat annoncé, il renforcera une tendance déjà ancienne : sur des tâches étroites et facilement vérifiables, la qualité dépend de plus en plus de la conception des données et de la procédure d'entraînement, et moins du nombre de paramètres.

Pour les ingénieurs, l'enjeu est concret. Un modèle de classe 27B tient sur quelques accélérateurs et coûte nettement moins cher à exploiter qu'un système à mille milliards de paramètres. On peut le déployer en interne, le fine-tuner et le lancer dans de longues boucles agentiques, où chaque token superflu coûte de l'argent.

La RSI comme cadre de travail

Les auteurs rattachent leur travail à l'auto-amélioration récursive (RSI) : la capacité d'un système à améliorer itérativement ses propres algorithmes. L'idée est qu'un modèle capable de retravailler longuement et méthodiquement du code pour des tâches ML se rapproche peu à peu de l'amélioration des processus ML eux-mêmes. Selon leur formulation, cela ouvre la porte à une évolution autonome de l'intelligence. Pour l'instant, il s'agit d'un premier pas dans un domaine limité, et non d'un système qui s'auto-améliore entièrement.

Paramètres clés de la publication :

• Modèle : AREX-2
• Architecture de base : Qwen3.8-27B (environ 27 milliards de paramètres)
• Données d'entraînement : longues chaînes de réflexion sur le ML et la programmation algorithmique
• Comparaison annoncée : supériorité sur un modèle de 1,6 billion de paramètres
• Développeurs : groupe AREX ; BAAI, USTC et Université Renmin de Chine
• Cadre de recherche : auto-amélioration récursive (RSI)

Ce que doivent vérifier les équipes qui développent des agents

Les équipes qui conçoivent des agents de code et de recherche ont intérêt à examiner le schéma lui-même. Si vous disposez de tâches à vérification automatique, vous pouvez collecter non seulement les solutions finales correctes, mais aussi les trajectoires de correction : ce qui a été essayé, pourquoi cela n'a pas fonctionné, comment l'approche a changé. Un tel jeu de données apprend au modèle à travailler avec l'erreur, et pas seulement à reproduire une réponse toute faite.

Avant tout déploiement, des mesures indépendantes s'imposent. Il faut d'abord établir sur quels benchmarks et dans quelles conditions AREX-2 devance le grand modèle : la limitation du domaine peut fortement influencer les conclusions. Il faut ensuite s'assurer que le gain se maintient sur des tâches hors de la distribution d'entraînement et sur de longs horizons, où les erreurs s'accumulent. Si ces vérifications sont concluantes, les modèles compacts entraînés par la réflexion deviendront une véritable alternative aux géants coûteux pour les agents d'ingénierie.