GPT-6 Astra modifie 0,016% des poids de Qwen3.5-0.8B et fait passer sa précision sur MATH-500 de 7,9% à 48,1%

Le travail Weight-Space Programming, rapporté par la chaîne Telegram Neurogen en citant le MIT CSAIL, met en évidence une capacité inhabituelle : le modèle de pointe GPT-6 Astra sait lire et réécrire directement les poids de réseaux de neurones tiers. Sans gradients ni réentraînement, uniquement via du code exécuté dans un bac à sable. L'exemple le plus parlant concerne le petit Qwen3.5-0.8B (environ 800 millions de paramètres). Astra n'y a modifié que 131 072 poids, soit 0,016%, et la précision du modèle sur MATH-500 (un ensemble de 500 problèmes de mathématiques de niveau olympiade) est passée de 7,9% à 48,1%.

Comment Astra a soigné les boucles de Qwen3.5-0.8B

Les chercheurs ont demandé à Astra d'améliorer les performances de Qwen3.5-0.8B en mathématiques. Le modèle a lancé Qwen en Python et observé son comportement. Il en ressort que ce petit réseau tourne sans cesse en boucle dans ses raisonnements : 85 des 96 premières réponses butaient sur la limite de 32 768 tokens et s'interrompaient sans jamais produire de résultat.

Astra a ensuite localisé la source du problème dans les blocs MLP des couches 15 et 19, et retranché des poids une direction superflue. Au total, 131 072 paramètres sur 800 millions ont été modifiés, soit 0,016%. Il a fallu pour cela 50 passes avant sur des problèmes d'entraînement, et une correction manuelle des poids dans le bac à sable.

Résultats après la correction :

• MATH-500 : de 7,9% à 48,1% ;
• GSM8K (problèmes de mathématiques rédigés, de niveau scolaire) : de 13,8% à 67,1% ;
• IFEval (évaluation du respect des instructions) : de 21% à 62,3% ;
• part des réponses qui butent sur la limite de tokens : de 93% à 33%.

La hausse sur IFEval s'explique simplement : les boucles ne relevaient pas d'un problème mathématique, mais d'un défaut général du comportement du modèle. Celui-ci gère donc aussi mieux les instructions.

Ce qu'Astra sait faire d'autre dans l'espace des poids

Les auteurs ont aussi présenté d'autres tâches, sans rapport avec les mathématiques :

• à partir des poids bruts, Astra a déterminé à quel jeu un réseau avait été entraîné, sans liste de choix, et a trouvé les 4 cas ;
• sur de petits modèles de langage de 7,2 millions de paramètres, elle a identifié la langue et trouvé tous les copying heads (têtes d'attention qui copient des fragments du contexte) ; le résultat coïncide avec les mesures directes ;
• dans l'environnement Kinetix, elle a réparé une voiture qui n'arrivait pas à gravir une pente : la modification de 3,5% des poids lui a permis de réussir les 1024 épreuves, alors qu'aucune n'était réussie auparavant ;
• elle a écrit de zéro les poids pour Breakout, Seaquest et Asterix ; à Breakout, elle a marqué 517 points, contre 25,3 pour PPO après 500 millions de pas d'entraînement ;
• elle a assemblé un réseau de 1,5 million de paramètres pour le go en une seule exécution d'un code de 336 lignes.

Où s'arrête l'effet d'annonce

L'auteur du compte rendu dans la chaîne émet des réserves. Astra n'a pas appris les mathématiques à Qwen : elle a supprimé un bug qui empêchait le modèle de mener une résolution à son terme. Sur Gemma 3 270M, qui ne tourne pas en boucle mais calcule simplement mal, la méthode n'a pas fonctionné du tout. La correction des poids retire un obstacle, mais n'ajoute pas de capacité.

Techniquement, l'approche s'apparente à un steering vector (décalage des activations dans une direction donnée), et l'édition manuelle des poids n'est pas nouvelle : il suffit de penser à ROME et à l'abliteration. La nouveauté est ailleurs : jusqu'ici, c'est un humain équipé d'outils spécialisés qui s'en chargeait, alors qu'ici le modèle a lui-même exploré un réseau tiers, trouvé le problème et l'a corrigé.

Le résultat est vérifiable. Le checkpoint est publié sur Hugging Face, avec une démo où le Qwen de base tourne en boucle tandis que la version corrigée répond. Les chercheurs ont en outre reconstruit les poids en vérifiant les hachages et relancé l'évaluation : sur MATH-500, ils obtiennent 51,0%, un peu plus que le résultat d'origine. Les logs de toutes les expériences sont publiés sur GitHub.

Pour les praticiens, la conclusion est la suivante : le diagnostic et la chirurgie ciblée des poids pourraient devenir une tâche confiée à un agent, notamment lorsqu'un petit modèle présente un défaut de comportement précis comme les boucles. Mais il ne faut pas s'attendre à ce que la modification de 0,016% des paramètres transforme un modèle faible en modèle performant : elle répare une panne précise, sans ajouter de connaissances.