SAMPA: Sistema Basado en Whisper para Detección de Límites de Prosodia del Habla Portuguesa

Los investigadores desarrollaron SAMPA — un sistema basado en el modelo Whisper para la detección automática de límites prosódicos (puntos de separación entre unidades de habla) en el habla portuguesa brasileña. En la prueba estándar, el sistema mostró una precisión de F1=0.731, y en las pruebas entre conjuntos de datos en MuPe-Diversidades logró F1=0.796.

Cómo funciona SAMPA

El sistema se basa en Whisper large-v3 — un modelo multilingüe de conversión de voz a texto de OpenAI. Los autores lo ajustaron en grabaciones en portugués del conjunto de datos NURC-SP (un archivo de habla oral portuguesa brasileña) y entrenaron el modelo para insertar marcadores especiales en ubicaciones de límites prosódicos. El sistema fue entrenado con grabaciones de diferentes hablantes, diferentes estilos de habla y diferentes condiciones de grabación, lo que lo ayudó a manejar también nuevos ejemplos.

Aspectos clave del enfoque:

• Modelo base: Whisper large-v3 de OpenAI
• Ajuste fino: conjunto de datos NURC-SP con grabaciones anotadas manualmente
• Precisión en la prueba principal: F1=0.731
• Precisión en el conjunto de datos independiente MuPe-Diversidades: F1=0.796
• El modelo utiliza señales morfosintácticas, semánticas y prosódicas

Por qué es importante para el portugués

Para el inglés, el procesamiento de la prosodia está bien desarrollado debido a la abundancia de datos anotados y años de investigación. El portugués, sin embargo, ha confiado históricamente principalmente en reglas y métodos tradicionales de aprendizaje automático — esto es menos preciso y flexible que los enfoques de redes neuronales.

SAMPA demuestra que un modelo previamente entrenado grande puede adaptarse efectivamente a otro idioma utilizando un conjunto relativamente pequeño de grabaciones anotadas. Esto abre la puerta a soluciones similares para otros idiomas más allá del inglés — ruso, español, mandarín y otros pueden obtener sistemas comparables a través de la adaptación de Whisper.

Lo que esto significa

La detección correcta de límites prosódicos es importante para el procesamiento práctico del habla portuguesa: la síntesis de voz natural suena más convincente cuando las pausas e inflexiones se colocan correctamente; la anotación automática de textos se hace posible sin edición manual; el análisis de documentos orales y archivos de habla se acelera.

La investigación demuestra que el principio del aprendizaje por transferencia funciona efectivamente — en lugar de entrenar un modelo desde cero, los autores adaptaron un Whisper existente, que es significativamente más rápido y requiere menos datos. Esto podría convertirse en un modelo para desarrollar procesamiento de voz en otros idiomas y regiones.