SAMPA: un sistema basado en Whisper para detectar los límites prosódicos del habla en portugués

Un equipo de investigadores ha desarrollado SAMPA, un sistema basado en el modelo Whisper que detecta automáticamente los límites prosódicos (los puntos de separación entre unidades del habla) en el portugués hablado en Brasil. En la prueba estándar, el sistema obtuvo una puntuación F1=0.731 y, en la evaluación entre conjuntos de datos con MuPe-Diversidades, alcanzó F1=0.796.

Cómo funciona SAMPA

El sistema se apoya en Whisper large-v3, el modelo multilingüe de OpenAI para transcribir voz a texto. Los autores lo reentrenaron con grabaciones en portugués del conjunto NURC-SP (un archivo de habla oral del portugués brasileño) y le enseñaron a insertar marcadores especiales en los límites prosódicos. El entrenamiento incluyó grabaciones con distintos hablantes, estilos de habla y condiciones de grabación, lo que ayudó al sistema a manejar también ejemplos nuevos.

Detalles clave del enfoque:

• Modelo base: Whisper large-v3 de OpenAI
• Ajuste fino: conjunto NURC-SP con grabaciones anotadas manualmente
• Precisión en la prueba principal: F1=0.731
• Precisión en el conjunto independiente MuPe-Diversidades: F1=0.796
• El modelo usa señales morfosintácticas, semánticas y prosódicas

Por qué importa para el portugués

En inglés, el procesamiento de la prosodia está muy desarrollado gracias a la abundancia de datos anotados y a años de investigación. El portugués, en cambio, se ha basado históricamente sobre todo en reglas y métodos tradicionales de aprendizaje automático, que son menos precisos y flexibles que los enfoques con redes neuronales.

SAMPA demuestra que es posible adaptar con eficacia un gran modelo ya entrenado a otro idioma con un conjunto relativamente pequeño de grabaciones anotadas. Eso abre la puerta a soluciones similares para otros idiomas además del inglés: el ruso, el español, el chino y otros podrían contar con sistemas parecidos adaptando Whisper.

Qué significa

Detectar bien los límites prosódicos es importante para el procesamiento práctico del habla en portugués: la síntesis de voz suena más convincente si las pausas y la entonación están bien colocadas; el etiquetado automático de textos es posible sin edición manual; y el análisis de documentos orales y archivos de habla se acelera.

El estudio demuestra que el aprendizaje por transferencia (transfer learning) funciona bien: en lugar de entrenar un modelo desde cero, los autores adaptaron un Whisper ya existente, lo que es bastante más rápido y requiere menos datos. Esto podría servir de plantilla para desarrollar el procesamiento del habla en otros idiomas y regiones.