SEAM enseña a los TTS palabras nuevas sin audio y reduce un 75% la necesidad de datos

Un equipo de investigadores ha propuesto SEAM (Spectral Embedding Alignment and Merging), una forma de añadir nuevos tokens a modelos TTS condicionales sin una sola grabación de audio en la fase de inicialización. En tres idiomas y dos arquitecturas de síntesis, el método alcanza el rendimiento de referencia o se acerca mucho a él con hasta cuatro veces menos datos de entrenamiento. La complejidad muestral cae un 75% en comparación con la inicialización aleatoria y el promediado de subtokens (mean pooling).

Por qué una palabra nueva rompe la síntesis de voz

Un modelo TTS condicional se apoya en un vocabulario de tokens. Cada token tiene asociado un embedding, y el decodificador usa esos vectores para saber cómo debe sonar el resultado. Mientras el vocabulario cubra el idioma y el léxico, todo funciona. El problema aparece cuando hay que añadir tokens nuevos, por ejemplo para un idioma de pocos recursos, un dialecto, nombres propios o términos técnicos. El vector de un token que el modelo nunca ha visto tiene que salir de alguna parte.

Lo habitual es inicializar el vector al azar o promediar los embeddings de los subtokens que lo componen, y después ajustar el modelo con pares etiquetados «texto — audio». En los idiomas con corpus pequeños, esos pares son el principal cuello de botella: son escasos, caros, y nadie quiere grabar a un locutor cada vez que se amplía el vocabulario.

El promediado tiene además una debilidad más profunda. El habla es secuencial: «ka» y «ak» están formados por las mismas unidades, pero suenan distinto. El mean pooling pierde ese orden y el vector resultante queda difuso.

Filtro espectral y regresión ridge en lugar de ajustar a ciegas

SEAM actúa en dos pasos. Primero, el nuevo embedding se construye a partir de subtokens conocidos, pero no con un promedio simple: se aplica un filtro espectral que conserva el orden temporal, es decir, el fonético. Después hay que «asentar» el vector en el espacio al que está acostumbrado el modelo preentrenado. Para ello, los autores usan una regresión ridge con solución en forma cerrada. Se trata de una fórmula analítica, no de un ciclo aparte de descenso de gradiente.

De ahí viene la principal ventaja práctica: no se necesita audio en la fase de inicialización. El modelo arranca con vectores con sentido, situados en la variedad (manifold) de condiciones adecuada, y el ajuste posterior no parte de cero. Los autores describen la solución como ligera, reproducible y teóricamente fundamentada.

Parámetros clave del trabajo:

• Tarea: ampliación del vocabulario de modelos TTS condicionales para escenarios de pocos recursos y multilingües.
• Inicialización sin audio: los embeddings de los nuevos tokens se construyen a partir de subtokens conocidos.
• El filtro espectral conserva el orden de los elementos fonéticos.
• La alineación con la variedad condicional del modelo preentrenado la realiza una regresión ridge en forma cerrada.
• Validación: tres idiomas y dos arquitecturas TTS.
• Resultado: calidad al nivel de la de referencia o cercana a ella con hasta 4 veces menos datos.
• Reducción de la sample complexity del 75% respecto a random init y mean pooling.

A quién le servirá primero

Ahorrar cuatro veces los datos importa menos a los líderes del mercado con corpus enormes que a quienes casi no tienen grabaciones. Son equipos que hacen locución para idiomas poco habituales, interfaces de voz locales o asistentes para dominios específicos con léxico no estándar, como la medicina o la terminología jurídica.

Para un ingeniero, el método tiene otro atractivo: no rompe nada en el pipeline. SEAM se integra como un paso de inicialización antes del ajuste habitual, sin nueva arquitectura ni nuevo dataset. La fórmula cerrada de alineación es sencilla de reproducir y barata en cómputo, así que se puede probar en un modelo propio en poco tiempo.

La conclusión práctica es esta: si estás ampliando el vocabulario de un TTS y gastas presupuesto en reunir grabaciones emparejadas, conviene comparar primero tu baseline actual con la inicialización por subtokens con filtrado espectral. Aunque no se igualen las cifras del artículo, el potencial de ahorro en etiquetado y grabación es notable. Los resultados de los autores se midieron en tres idiomas y dos arquitecturas, por lo que su traslado a otros modelos debe verificarse por separado, y lo más sensato es empezar por el idioma al que hoy más audio le falta.