Las redes neuronales de voz escalan como las de texto, según un estudio de Apple

Apple ML Research ha demostrado que las redes neuronales de voz escalan de forma tan predecible como los modelos de texto, gracias a una nueva métrica llamada pJSD, aunque los sistemas de voz todavía quedan por detrás de los de texto en calidad.

Por qué los modelos de voz van por detrás de los de texto

Los modelos de lenguaje que trabajan directamente con sonido, sin representación textual intermedia (los llamados speech-only SLM), siguen siendo claramente inferiores a los sistemas de texto y multimodales. Parece una paradoja: las interfaces de voz tienen demanda y hay datos de audio de sobra, pero el progreso es lento.

El enfoque dominante, los SLM autorregresivos discretos (AR SLM), convierte primero la señal de audio continua en tokens discretos, igual que los modelos de texto trabajan con palabras. El problema es que el habla se estructura de forma radicalmente distinta a la lengua escrita: la discretización pierde inevitablemente detalles acústicos que portan significado. Para compensar esas pérdidas, los modelos AR necesitan enormes recursos de cómputo y conjuntos de entrenamiento gigantescos, lo que los hace caros y difíciles de escalar.

Cómo la difusión continua esquiva las limitaciones

La difusión continua (CD) propone un enfoque radicalmente distinto: trabajar directamente con representaciones continuas de la señal de audio y evitar por completo la discretización. Esto elimina la pérdida de información en la entrada y podría hacer el entrenamiento más eficiente.

Sin embargo, quedaba una pregunta clave: ¿obedecen los modelos CD las leyes de escalado? Estas leyes son el fundamento de los grandes modelos de lenguaje actuales y predicen cómo mejora la calidad al aumentar el número de parámetros y el volumen de datos. Sin un escalado predecible, invertir grandes recursos en una arquitectura es arriesgado: no hay garantía de que la inversión se recupere.

Apple estudió ambos tipos de métricas. Principales conclusiones:

• Los CD SLM muestran leyes de escalado claras para la pérdida en el conjunto de validación
• La métrica pJSD (calidad lingüística) disminuye de forma predecible al aumentar el cómputo
• Se identificó una proporción óptima entre el número de tokens y el de parámetros, el equivalente en voz de la ley de Chinchilla para los LLM de texto
• El comportamiento de escalado de los modelos CD se parece mucho al de los modelos AR

Para qué sirve la nueva métrica pJSD

Las métricas estándar, sobre todo la pérdida (loss), miden la precisión con que se reproduce la distribución de entrenamiento, pero reflejan poco hasta qué punto el habla del modelo tiene contenido desde el punto de vista lingüístico. Apple introdujo la divergencia de Jensen-Shannon de fonemas (phoneme Jensen-Shannon divergence, pJSD).

La métrica calcula la divergencia entre la distribución de fonemas en el habla generada por el modelo y en el habla humana real. Cuanto más cerca de cero esté el valor, más «humana» es el habla en sentido lingüístico. Es fundamental que pJSD se pueda aplicar a ambas arquitecturas, AR y CD, lo que permite comparar en una misma escala enfoques radicalmente distintos.

«Para evaluar cuantitativamente la calidad lingüística de los modelos de lenguaje de voz, introducimos pJSD, la divergencia de

Jensen-Shannon a nivel de fonemas», señala el artículo de Apple ML Research.

Qué significa

El estudio de Apple despeja una incertidumbre clave en la IA de voz: la difusión continua escala de forma predecible y es comparable al enfoque autorregresivo. Eso ofrece a investigadores y empresas una justificación para invertir a largo plazo en la arquitectura CD. Los sistemas de IA de voz de nueva generación podrían funcionar sin texto intermedio, lo que podría hacer la interacción por voz más natural y eficiente en cómputo.

¿Qué es una red neuronal de voz?

Es un modelo de lenguaje que trabaja directamente con sonido, sin representación textual intermedia: un modelo de lenguaje de voz (speech-only SLM).