SEAM ensina novas palavras ao TTS sem áudio e corta em 75% a necessidade de dados

Uma equipe de pesquisadores propôs o SEAM (Spectral Embedding Alignment and Merging), um método para adicionar novos tokens a modelos de TTS condicionais sem nenhuma gravação de áudio na etapa de inicialização. Em três idiomas e duas arquiteturas de síntese, o método atinge o desempenho de referência ou chega muito perto dele, usando até quatro vezes menos dados de treinamento. A complexidade amostral cai 75% em comparação com a inicialização aleatória e com a média dos subtokens (mean pooling).

Por que uma palavra nova quebra a síntese de fala

Um modelo de TTS condicional se apoia em um vocabulário de tokens. Cada token tem um embedding, e é a partir desses vetores que o decodificador entende como o resultado deve soar. Enquanto o idioma e o léxico estão cobertos pelo vocabulário, tudo funciona. O problema surge quando é preciso incluir novos tokens, por exemplo para um idioma de poucos recursos, um dialeto, nomes próprios ou termos técnicos. O vetor de um token que o modelo nunca viu precisa vir de algum lugar.

O caminho padrão é inicializar o vetor de forma aleatória ou fazer a média dos embeddings dos subtokens que o compõem, e depois ajustar o modelo com pares anotados de "texto — áudio". Para idiomas com corpus pequeno, são justamente esses pares que viram o principal gargalo: há poucos, são caros, e ninguém quer gravar um locutor a cada ampliação do vocabulário.

A média tem ainda uma fraqueza mais profunda. A fala é sequencial: “ка” e “ак” são formadas pelos mesmos elementos, mas soam diferentes. O mean pooling perde essa ordem, e o vetor final sai borrado.

Filtro espectral e regressão ridge no lugar do ajuste às cegas

O SEAM age em duas etapas. Primeiro, o novo embedding é montado a partir de subtokens conhecidos, mas não por uma média simples: aplica-se um filtro espectral que preserva a ordem temporal, ou seja, a ordem fonética. Em seguida, o vetor precisa ser "encaixado" no espaço a que o modelo pré-treinado está habituado. Para isso, os autores usam uma regressão ridge com solução em forma fechada. Trata-se de uma fórmula analítica, e não de um ciclo separado de descida de gradiente.

Daí vem a principal vantagem prática: não é preciso áudio na etapa de inicialização. O modelo parte de vetores com significado, situados na variedade (manifold) de condições correta, e o ajuste fino não começa do zero. Os autores descrevem a solução como leve, reprodutível e teoricamente fundamentada.

Principais parâmetros do trabalho:

• Tarefa: ampliação do vocabulário de modelos de TTS condicionais para cenários de poucos recursos e multilíngues.
• Inicialização sem áudio: os embeddings dos novos tokens são construídos a partir de subtokens conhecidos.
• O filtro espectral preserva a ordem dos elementos fonéticos.
• O alinhamento com a variedade de condições do modelo pré-treinado é feito por regressão ridge em forma fechada.
• Validação: três idiomas e duas arquiteturas de TTS.
• Resultado: qualidade no nível da referência ou próxima dela, com até 4 vezes menos dados.
• Redução de 75% na sample complexity em relação a random init e mean pooling.

Quem deve se beneficiar primeiro

A economia de quatro vezes em dados importa menos para os líderes de mercado, com seus corpora enormes, e mais para quem quase não tem gravações. São equipes que fazem locução para idiomas raros, interfaces de voz locais e assistentes para domínios específicos com léxico fora do padrão, como termos médicos ou jurídicos.

Para o engenheiro, o método também interessa porque não quebra nada no pipeline. O SEAM entra como uma etapa de inicialização antes do ajuste fino convencional, sem nova arquitetura e sem novo dataset. A fórmula fechada de alinhamento é simples de reproduzir e barata em computação, o que significa que dá para testá-la no seu próprio modelo em pouco tempo.

A conclusão prática é esta: se você está ampliando o vocabulário de um TTS e gasta orçamento coletando gravações pareadas, vale primeiro comparar o seu baseline atual com a inicialização por subtokens com filtragem espectral. Mesmo sem alcançar os números do artigo, o potencial de economia em anotação e gravação é considerável. Os resultados dos autores foram medidos em três idiomas e duas arquiteturas, então a transferência para outros modelos precisa ser verificada separadamente, e o melhor ponto de partida é o idioma em que hoje mais falta áudio.