SAMPA: sistema baseado no Whisper detecta fronteiras prosódicas na fala em português

Pesquisadores desenvolveram o SAMPA, um sistema baseado no modelo Whisper que detecta automaticamente fronteiras prosódicas (os pontos de separação entre unidades de fala) na fala do português do Brasil. No teste padrão, o sistema obteve F1=0.731 e, em testes entre conjuntos de dados com o MuPe-Diversidades, chegou a F1=0.796.

Como o SAMPA funciona

O sistema é baseado no Whisper large-v3, modelo multilíngue da OpenAI para transcrição de fala em texto. Os autores fizeram o ajuste fino do modelo com gravações em português do conjunto NURC-SP (um acervo de fala oral do português brasileiro) e o ensinaram a inserir marcadores especiais nas fronteiras prosódicas. O sistema foi treinado com gravações de diferentes falantes, estilos de fala e condições de gravação, o que ajudou a lidar também com exemplos novos.

Principais detalhes da abordagem:

• Modelo base: Whisper large-v3, da OpenAI
• Ajuste fino: conjunto NURC-SP com gravações anotadas manualmente
• Precisão no teste principal: F1=0.731
• Precisão no conjunto independente MuPe-Diversidades: F1=0.796
• O modelo usa pistas morfossintáticas, semânticas e prosódicas

Por que isso importa para o português

No inglês, o processamento de prosódia é bem desenvolvido graças à abundância de dados anotados e a anos de pesquisa. O português, por sua vez, historicamente se baseou principalmente em regras e métodos tradicionais de aprendizado de máquina, que são menos precisos e flexíveis que as abordagens com redes neurais.

O SAMPA mostra que é possível adaptar com eficácia um grande modelo já pronto a outro idioma, usando um conjunto relativamente pequeno de gravações anotadas. Isso abre caminho para soluções semelhantes em outros idiomas além do inglês: russo, espanhol, chinês e outros podem ganhar sistemas parecidos por meio da adaptação do Whisper.

O que isso significa

Detectar corretamente as fronteiras prosódicas é importante para o processamento prático da fala em português: a síntese de voz soa mais convincente quando pausas e entonações estão bem posicionadas; a marcação automática de textos se torna possível sem edição manual; e a análise de documentos orais e acervos de fala fica mais rápida.

O estudo mostra que o aprendizado por transferência (transfer learning) funciona bem: em vez de treinar um modelo do zero, os autores adaptaram um Whisper já pronto, o que é bem mais rápido e exige menos dados. Isso pode servir de modelo para o desenvolvimento do processamento de fala em outros idiomas e regiões.