CircuitTree assemble 39 circuits phonémiques de HuBERT en un transcripteur de syllabes précis à 64,8%

Des chercheurs ont proposé CircuitTree : une structure de données qui assemble un nombre arbitraire de petits sous-réseaux, les « circuits », issus d'un même grand réseau de neurones, pour former un modèle unique et fonctionnel. La méthode a été testée sur le modèle vocal HuBERT. Les 39 circuits, dont chacun reconnaît un seul phonème, ont été fusionnés en un classificateur de syllabes, puis en un pipeline qui transcrit les syllabes ouvertes avec une précision de 64,8%. Un modèle qui ne partage pas de composants entre ses circuits atteint 66,0%. L'écart est de 1,2 point, alors que, dans le nouveau système, 99,5% des composants des circuits sont partagés.

Pourquoi les circuits comptent et où l'assemblage pose problème

La découverte de circuits (circuit discovery) cherche à décomposer un réseau monolithique en minuscules sous-réseaux modulaires. Chacun doit remplir une sous-tâche claire, ce qui permet de l'interpréter. C'est l'un des axes centraux de l'interprétabilité mécaniste. Mais démonter un modèle ne fait que la moitié du travail : si l'on ne peut pas réassembler les pièces en quelque chose de cohérent, l'intérêt de la décomposition reste limité.

Les premières tentatives de composition reposaient sur une simple union (union) des circuits. Les auteurs affirment que cette approche a ses limites et proposent un algorithme glouton avec mise à l'échelle par densité (density-scaled composition). L'abstract ne détaille pas les mécanismes concrets, mais l'objectif est clair : fusionner les circuits de sorte que le sous-réseau final ne gonfle pas et conserve les capacités des parties d'origine.

Comment fonctionne CircuitTree

La fusion par paires résout le problème pour deux circuits. Les auteurs l'ont généralisée à N circuits et ont construit CircuitTree, une structure de données fondée sur un calendrier de composition arborescent (tree-compose schedule) de complexité Θ(N log N). Fusionner des centaines de circuits un par un devient impraticable, tandis que le calendrier arborescent maintient la croissance des coûts dans des limites raisonnables.

Ensuite, les CircuitTree sont chaînés pour former un pipeline de type « hiérarchie de circuits » (hierarchy-of-circuits). Le niveau inférieur traite les phonèmes, le suivant en tire des syllabes.

Les résultats sur HuBERT

Les chercheurs ont extrait de HuBERT des circuits dédiés à la classification de phonèmes individuels. Il y en a 39 au total. Aucun d'eux n'est capable, seul, de distinguer des syllabes, mais leur composition y parvient. En somme, une nouvelle capacité émerge de la combinaison de capacités étroites.

Les chiffres clés de l'abstract :

• nombre de circuits phonémiques : 39 ;
• précision de transcription des syllabes ouvertes : 64,8% ;
• plafond pour un modèle sans composants partagés : 66,0% ;
• écart avec le plafond : 1,2 point ;
• part de composants partagés entre circuits : 99,5% ;
• complexité du calendrier de composition : Θ(N log N).

Le dernier chiffre compte plus que les autres. Le plafond de 66,0% est obtenu par un modèle dont les circuits ne se recoupent pas du tout. Le nouveau système s'en approche presque, alors que l'essentiel de son « matériel » est commun. Ici, la modularité ne coûte presque rien en qualité.

À quoi cela peut servir et ce qui reste en suspens

L'intérêt pratique de ces travaux tient au fait que les modules interprétables peuvent non seulement être trouvés, mais aussi assemblés en un système fonctionnel. Pour l'audit de modèles, cela permet de vérifier de quelles parties se compose une décision. Pour les développeurs de systèmes vocaux, c'est une voie vers des sous-réseaux spécialisés et compacts, qui héritent des connaissances du grand modèle. L'abstract ne mesure aucun gain de taille ni de vitesse : conclure à une économie serait donc prématuré à ce stade.

Les limites ne manquent pas. La tâche est restreinte aux syllabes ouvertes, et non à la parole libre. Une précision absolue de 64,8% reste loin du niveau des systèmes de reconnaissance industriels. L'abstract ne propose aucune comparaison avec des modèles ASR classiques. Il s'agit d'une étude sur un outil de composition, pas d'une solution de transcription prête à l'emploi. Mais comme preuve qu'on peut assembler une nouvelle capacité à partir de dizaines de circuits étroits presque sans perte de qualité, elle est convaincante. Il faudra désormais voir si l'approche passe à l'échelle sur d'autres modalités et sur les modèles de langage, où les circuits se comptent en ordres de grandeur supérieurs.