Redes neurais de fala escalam como as de texto, mostra estudo da Apple

A Apple ML Research demonstrou que redes neurais de fala escalam de forma tão previsível quanto os modelos de texto, graças a uma nova métrica chamada pJSD, embora os sistemas de fala ainda fiquem atrás dos de texto em qualidade.

Por que os modelos de fala ficam atrás dos de texto

Modelos de linguagem que trabalham diretamente com som, sem representação textual intermediária (os chamados speech-only SLM), ainda ficam bem abaixo dos sistemas de texto e multimodais. Parece um paradoxo: interfaces de voz têm demanda e há dados de áudio de sobra, mas o progresso é lento.

A abordagem dominante, os SLM autorregressivos discretos (AR SLM), primeiro converte o sinal de áudio contínuo em tokens discretos, de forma análoga a como os modelos de texto lidam com palavras. O problema é que a fala tem uma estrutura fundamentalmente diferente da língua escrita: a discretização inevitavelmente perde detalhes acústicos que carregam significado. Para compensar essas perdas, os modelos AR exigem recursos computacionais enormes e conjuntos de treinamento gigantescos, o que os torna caros e difíceis de escalar.

Como a difusão contínua contorna as limitações

A difusão contínua (CD) propõe uma abordagem radicalmente diferente: trabalhar diretamente com representações contínuas do sinal de áudio, eliminando por completo a discretização. Isso remove a perda de informação na entrada e potencialmente torna o treinamento mais eficiente.

Mas ficava uma pergunta central: os modelos CD obedecem às leis de escala? São elas que sustentam os grandes modelos de linguagem atuais, ao prever como a qualidade cresce com o aumento do número de parâmetros e do volume de dados. Sem escala previsível, investir grandes recursos em uma arquitetura é arriscado: não há garantia de retorno.

A Apple examinou os dois tipos de métricas. Principais conclusões:

• Os CD SLM mostram leis de escala claras para a perda no conjunto de validação
• A métrica pJSD (qualidade linguística) cai de forma previsível com o aumento da computação
• Foi identificada uma proporção ótima entre número de tokens e número de parâmetros, o equivalente em fala da lei de Chinchilla para LLMs de texto
• O comportamento de escala dos modelos CD é muito próximo ao dos modelos AR

Por que é preciso uma nova métrica, a pJSD

As métricas padrão, sobretudo a perda (loss), medem a precisão com que a distribuição de treinamento é reproduzida, mas refletem pouco o quanto a fala do modelo tem conteúdo do ponto de vista linguístico. A Apple introduziu a divergência de Jensen-Shannon de fonemas (phoneme Jensen-Shannon divergence, pJSD).

A métrica calcula a divergência entre a distribuição de fonemas na fala gerada pelo modelo e na fala humana real. Quanto mais próximo de zero o valor, mais "humana" é a fala em sentido linguístico. O ponto crucial é que a pJSD se aplica às duas arquiteturas, AR e CD, o que permite comparar abordagens fundamentalmente diferentes em uma única escala.

"Para avaliar quantitativamente a qualidade linguística de modelos de linguagem de fala, introduzimos a pJSD, a divergência de

Jensen-Shannon no nível dos fonemas", afirma o artigo da Apple ML Research.

O que isso significa

O estudo da Apple elimina uma incerteza central na IA de fala: a difusão contínua escala de forma previsível e é comparável à abordagem autorregressiva. Isso dá a pesquisadores e empresas uma justificativa para investimento de longo prazo na arquitetura CD. Sistemas de IA de fala de nova geração poderão funcionar sem texto intermediário, o que potencialmente tornaria a interação por voz mais natural e eficiente em computação.

O que é uma rede neural de fala?

É um modelo de linguagem que trabalha diretamente com som, sem representação textual intermediária: um modelo de linguagem de fala (speech-only SLM).