Fudan et Huawei Xiaoyi apprennent à un agent IA à écrire des opérateurs pour les NPU Ascend : 95,5% de réussite

Une équipe de l'université Fudan, en collaboration avec Huawei Xiaoyi, a porté à 95,5% la part d'opérateurs générés avec succès pour les NPU Ascend. Il s'agit d'un agent de code qui écrit du code bas niveau pour une plateforme matérielle mal connue des modèles de langage, le compile, l'exécute et le réécrit jusqu'à obtenir un résultat fonctionnel.

Où la vitesse se perd après le déploiement

Lorsqu'on porte un modèle sur Ascend, la logique de calcul est déjà définie : couches, attention, normalisations. Commence alors un travail que les utilisateurs ne voient généralement pas. Il faut décider comment les opérateurs vont s'inscrire concrètement sur le matériel. Un même calcul d'attention peut être implémenté de multiples façons. Le découpage des données en blocs, le schéma de leur déplacement entre les niveaux de mémoire, la répartition du travail entre les unités de calcul et les points de synchronisation varient d'une implémentation à l'autre. Le temps d'exécution peut alors différer sensiblement.

Ce réglage est traditionnellement confié à des ingénieurs qui maîtrisent bien l'architecture de la puce. Ils sont peu nombreux, alors qu'un modèle moderne compte beaucoup d'opérateurs. L'optimisation pour un NPU donné devient ainsi le goulot d'étranglement de tout le cycle de déploiement.

Un agent sur une plateforme qu'il n'a pas apprise

Les grands modèles de langage savent générer du code. Les agents de code vont plus loin : ils appellent des outils, construisent le projet, lancent les tests et apportent des corrections en fonction des résultats. Sur les plateformes courantes, ce cycle fonctionne bien, car les données d'entraînement contiennent de nombreux exemples.

Avec Ascend, c'est plus compliqué. L'essentiel du code open source est écrit pour d'autres piles logicielles, et le modèle a moins de connaissances sur les subtilités de la programmation des NPU. Les chercheurs ont posé la question ainsi : que doit faire un agent censé compiler, déboguer et optimiser du code sur une plateforme où la base de connaissances est insuffisante ? La réponse de l'équipe de Fudan et de Huawei Xiaoyi : lui apprendre à s'appuyer sur les retours de la plateforme elle-même, c'est-à-dire sur les résultats de compilation et d'exécution.

La métrique finale du projet est de 95,5% d'opérateurs générés avec succès.

Ce que l'on sait du projet

• Participants : l'université Fudan et l'équipe Huawei Xiaoyi.
• Plateforme visée : NPU Ascend.
• Type de système : agent de code avec appel d'outils, compilation, exécution et amélioration itérative.
• Problème : l'utilisation efficace du matériel une fois que la logique de calcul du modèle est figée.
• Ce qui influe sur la vitesse : découpage en blocs, déplacement des données, parallélisme et synchronisation.
• Résultat principal : 95,5% d'opérateurs générés avec succès.

Pourquoi c'est important pour l'écosystème Ascend

Pour les accélérateurs chinois, le problème principal ne se situe plus seulement dans le silicium depuis longtemps. La compétitivité dépend de la couche logicielle : bibliothèques d'opérateurs, compilateurs, outils de réglage. Si un agent peut prendre en charge une part importante du travail manuel d'écriture et de débogage des opérateurs, le ticket d'entrée sur Ascend baisse. Les nouvelles architectures et les blocs d'attention non standard pourront être pris en charge plus vite, sans attendre qu'un spécialiste du matériel se libère.

L'approche s'applique aussi plus largement. Tout fabricant d'accélérateurs se heurte au même obstacle : les modèles connaissent mal sa pile logicielle. Le schéma dans lequel l'agent apprend à partir des réponses du compilateur et du profileur se transpose à d'autres NPU et GPU.

Ce que doit surveiller une équipe qui travaille avec Ascend

La conclusion pratique est simple : bâtir l'automatisation autour du cycle « générer, compiler, exécuter, corriger ». Plus les signaux de retour sont précis, mieux l'agent se débrouille sur une plateforme inconnue.

Des questions subsistent, dont dépend la valeur réelle de la méthode. Il faut comprendre à quelle vitesse tournent les opérateurs générés par rapport aux implémentations manuelles. Il faut vérifier la robustesse de l'approche sur de nouveaux types de calculs. Il faut déterminer si elle sera accessible en dehors des laboratoires de Huawei et de l'université. Pour l'instant, les 95,5% montrent que la génération agentique d'opérateurs pour Ascend dépasse déjà le stade de la démonstration.