SAMPA : un système basé sur Whisper pour détecter les frontières prosodiques du portugais parlé

Des chercheurs ont développé SAMPA, un système fondé sur le modèle Whisper qui détecte automatiquement les frontières prosodiques (les points de séparation entre unités de parole) dans le portugais parlé au Brésil. Sur le test standard, le système a obtenu un score F1=0.731 et, lors d'un test inter-jeux de données sur MuPe-Diversidades, il a atteint F1=0.796.

Comment fonctionne SAMPA

Le système repose sur Whisper large-v3, le modèle multilingue d'OpenAI de transcription de la parole en texte. Les auteurs l'ont affiné sur des enregistrements en portugais du jeu de données NURC-SP (une archive de portugais brésilien oral) et lui ont appris à insérer des marqueurs spéciaux aux frontières prosodiques. L'entraînement s'est appuyé sur des enregistrements variés : locuteurs, styles de parole et conditions d'enregistrement différents, ce qui l'a aidé à traiter aussi de nouveaux exemples.

Les points clés de l'approche :

• Modèle de base : Whisper large-v3 d'OpenAI
• Affinage : jeu de données NURC-SP avec enregistrements annotés manuellement
• Précision sur le test principal : F1=0.731
• Précision sur le jeu de données indépendant MuPe-Diversidades : F1=0.796
• Le modèle exploite des indices morphosyntaxiques, sémantiques et prosodiques

Pourquoi c'est important pour le portugais

Pour l'anglais, le traitement de la prosodie est bien développé grâce à l'abondance de données annotées et à des années de recherche. Le portugais, lui, s'est historiquement appuyé surtout sur des règles et des méthodes classiques d'apprentissage automatique, moins précises et moins souples que les approches par réseaux de neurones.

SAMPA montre qu'il est possible d'adapter efficacement un grand modèle existant à une autre langue avec un jeu d'enregistrements annotés relativement réduit. Cela ouvre la voie à des solutions similaires pour d'autres langues que l'anglais : le russe, l'espagnol, le chinois et d'autres pourraient obtenir des systèmes comparables en adaptant Whisper.

Ce que cela signifie

Détecter correctement les frontières prosodiques compte pour le traitement concret du portugais parlé : la synthèse vocale sonne de façon plus convaincante quand les pauses et l'intonation sont bien placées ; l'annotation automatique de textes devient possible sans édition manuelle ; et l'analyse de documents oraux et d'archives sonores s'accélère.

L'étude montre que l'apprentissage par transfert (transfer learning) fonctionne bien : plutôt que d'entraîner un modèle de zéro, les auteurs ont adapté un Whisper existant, ce qui est nettement plus rapide et demande moins de données. Cela pourrait servir de modèle pour développer le traitement de la parole dans d'autres langues et régions.