CircuitTree reúne 39 circuitos de fonemas do HuBERT em um transcritor de sílabas com 64,8% de precisão

Pesquisadores propuseram o CircuitTree, uma estrutura de dados que reúne um número arbitrário de pequenas subredes, os "circuitos", extraídas de uma única rede neural grande, em um modelo funcional. O método foi testado no modelo de fala HuBERT. Os 39 circuitos, cada um responsável por reconhecer um fonema, foram combinados em um classificador de sílabas e, em seguida, em um pipeline que transcreve sílabas abertas com 64,8% de precisão. Um modelo que não compartilha componentes entre circuitos chega a 66,0%. A diferença é de 1,2 ponto percentual, embora 99,5% dos componentes dos circuitos do novo sistema sejam compartilhados.

Para que servem os circuitos e onde está o problema de montá-los

A descoberta de circuitos (circuit discovery) tenta decompor uma rede monolítica em subredes modulares minúsculas. Cada uma delas deve executar uma subtarefa compreensível, e é isso que permite interpretá-la. Esse é um dos principais campos da interpretabilidade mecanicista. Mas desmontar o modelo é só metade do trabalho. Se não é possível montar algo útil com as peças, o valor da decomposição fica limitado.

As primeiras tentativas de composição se baseavam na simples união (union) de circuitos. Os autores afirmam que essa abordagem tem limitações e propõem um algoritmo guloso com escalonamento por densidade (density-scaled composition). O resumo do artigo não detalha os mecanismos específicos, mas o objetivo é claro: unir os circuitos sem que a subrede final inche e preservando as capacidades das partes originais.

Como o CircuitTree funciona

A fusão par a par resolve o problema para dois circuitos. Os autores a generalizaram para N circuitos e construíram o CircuitTree, uma estrutura de dados baseada em um cronograma de composição em árvore (tree-compose schedule) com complexidade Θ(N log N). Unir centenas de circuitos um a um já é inviável na prática, e o cronograma em árvore mantém o crescimento do custo dentro de limites razoáveis.

Em seguida, os CircuitTree são encadeados, formando um pipeline de "hierarquia de circuitos" (hierarchy-of-circuits). O nível inferior cuida dos fonemas, e o seguinte monta sílabas a partir deles.

O que saiu do HuBERT

Do HuBERT foram extraídos circuitos para classificar fonemas individuais, ao todo 39. Nenhum deles, isoladamente, sabe distinguir sílabas, mas a composição sabe. Na prática, uma nova capacidade surge da combinação de capacidades estreitas.

Principais números do resumo:

• número de circuitos de fonemas: 39;
• precisão na transcrição de sílabas abertas: 64,8%;
• teto para um modelo sem componentes compartilhados: 66,0%;
• diferença para o teto: 1,2 ponto percentual;
• proporção de componentes compartilhados entre os circuitos: 99,5%;
• complexidade do cronograma de composição: Θ(N log N).

O último número é mais importante que os demais. O teto de 66,0% foi obtido por um modelo em que os circuitos não se sobrepõem de forma alguma. O novo sistema quase o alcança, embora quase todo o "hardware" seja compartilhado. A modularidade quase não custa qualidade.

Onde isso pode ser útil e o que continua em aberto

O valor prático do trabalho está em mostrar que módulos interpretáveis podem não só ser encontrados, mas também montados em um sistema funcional. Para a auditoria de modelos, isso abre a possibilidade de verificar de quais partes uma decisão é composta. Para quem desenvolve sistemas de fala, é um caminho para subredes compactas e especializadas que herdam o conhecimento do modelo grande. O resumo não mediu ganhos de tamanho ou velocidade, então qualquer conclusão sobre economia seria prematura por enquanto.

As limitações são várias. A tarefa foi restrita a sílabas abertas, e não a fala arbitrária. A precisão absoluta de 64,8% está longe do nível dos sistemas industriais de reconhecimento de fala. O resumo não traz comparação com modelos de ASR convencionais. Trata-se de uma pesquisa sobre uma ferramenta de composição, e não de uma solução pronta para transcrição. Mas, como prova de que dezenas de circuitos estreitos podem ser combinados em uma nova capacidade com quase nenhuma perda de qualidade, o trabalho parece convincente. O próximo passo é ver se a abordagem escala para outras modalidades e para modelos de linguagem, onde há ordens de grandeza mais circuitos.