La chinoise AREX-2, basée sur un modèle de 27 milliards de paramètres, aurait surpassé un modèle de 1,6 billion

Un modèle de 27 milliards de paramètres aurait, selon des chercheurs chinois, surpassé un système de 1,6 billion. L'écart de taille est de près de 60 fois. L'équipe AREX de l'Académie de Pékin pour l'intelligence artificielle (BAAI), de l'Université des sciences et technologies de Chine (USTC) et de l'Université du Peuple de Chine a présenté AREX-2. Le modèle repose sur la base légère Qwen3.8-27B et a été entraîné sur des données de « réflexion longue » issues de tâches de machine learning et de programmation algorithmique.

La réflexion plutôt que les paramètres en plus

La voie classique vers un modèle de codage performant consiste à augmenter les paramètres, étoffer le corpus, ajouter de l'apprentissage par renforcement sur des tâches vérifiables. AREX-2 emprunte un autre chemin. Les auteurs ont construit leurs données d'entraînement autour d'un long cycle « tentative, analyse, correction ». Le modèle ne se limite pas à un seul passage. Il revient sur sa propre solution, repère le point faible et retravaille l'algorithme.

Le domaine n'a pas été choisi au hasard. En ingénierie ML et en programmation algorithmique, le résultat se mesure : le code passe les tests ou non, la métrique progresse ou chute. Le retour est donc fiable, et les longues trajectoires d'amélioration peuvent être collectées et vérifiées.

Pourquoi la comparaison 27B contre 1,6T attire l'attention

Le titre de l'étude repose sur un contraste de taille. Si le résultat annoncé se confirme par des mesures indépendantes, il renforcera une tendance déjà ancienne : sur des tâches étroites et bien vérifiables, la qualité dépend de plus en plus de l'organisation des données et de la procédure d'entraînement, plutôt que du nombre de paramètres.

Pour les ingénieurs, l'intérêt est concret. Un modèle à l'échelle de 27B tient sur quelques accélérateurs et fonctionne nettement moins cher que des systèmes de plusieurs billions de paramètres. On peut le déployer en interne, l'affiner et le faire tourner dans de longues boucles agentiques, où chaque jeton supplémentaire a un coût.

Le RSI comme cadre de travail

Les auteurs relient leurs travaux à l'auto-amélioration récursive (RSI) : la capacité d'un système à perfectionner de façon itérative ses propres algorithmes. L'idée est qu'un modèle capable de retravailler longuement et avec discernement du code pour des tâches ML se rapproche progressivement de l'amélioration des processus ML eux-mêmes. Selon leur formulation, cela ouvrirait la voie à une évolution autonome de l'intelligence. Pour l'instant, il s'agit d'un premier pas dans un domaine restreint, pas d'un système pleinement auto-perfectionnant.

Paramètres clés de la publication :

• Modèle : AREX-2
• Architecture de base : Qwen3.8-27B (environ 27 milliards de paramètres)
• Données d'entraînement : longues chaînes de réflexion sur le ML et la programmation algorithmique
• Comparaison annoncée : supériorité face à un modèle de l'ordre de 1,6 billion de paramètres
• Développeurs : équipe AREX ; BAAI, USTC et Université du Peuple de Chine
• Cadre de recherche : auto-amélioration récursive (RSI)

Ce que les équipes qui construisent des agents devraient vérifier

Les équipes qui développent des agents de codage et de recherche ont intérêt à s'intéresser à ce schéma lui-même. Si vous disposez de tâches à vérification automatique, vous pouvez collecter non seulement les solutions finales correctes, mais aussi les trajectoires de correction : ce qui a été essayé, pourquoi cela n'a pas fonctionné, comment l'approche a été modifiée. Un tel jeu de données apprend au modèle à composer avec l'erreur, et pas seulement à reproduire une réponse toute faite.

Avant tout déploiement, des mesures indépendantes s'imposent. Il faut d'abord déterminer sur quels benchmarks et dans quelles conditions AREX-2 surpasse le grand modèle : la limitation au domaine peut fortement influencer les conclusions. Il faut ensuite vérifier que l'avantage se maintient sur des tâches hors de la distribution d'entraînement et sur de longs horizons, où les erreurs s'accumulent. Si ces vérifications sont concluantes, les modèles compacts entraînés par réflexion deviendront une alternative crédible aux géants coûteux pour les agents d'ingénierie.