Fish Audio Drama 3 apprend à un TTS local à chuchoter et à briser sa voix dans un même paragraphe
Les petits modèles TTS locaux de 0,5–1,7B paramètres lisent un monologue dramatique avec le même entrain qu'une documentation d'API : ils lissent le chuchotement et la voix brisée. L'auteur de l'analyse a essayé Praat et des références tirées de livres audio, puis lancé Fish Audio Drama 3 (35B-A3B MoE) sur Mac. Le modèle soupire de lui-même à la balise [sighs], bascule dans le chuchotement et construit la montée en tension dans les questions finales.
Traité par IA depuis Habr AI ; édité par Hamidun News
Pour une lecture neutre, à la manière d'un présentateur, les modèles TTS locaux d'aujourd'hui suffisent largement. On fournit un échantillon de voix propre, on place les accents et on obtient une voix off correcte pour un cours ou un tutoriel vidéo. Les difficultés commencent quand il faut du jeu d'acteur : au sein d'un même paragraphe, la voix doit passer par l'ironie, la gorge nouée, le chuchotement et la voix qui se brise. Les modèles de 0,5–1,7B paramètres s'en tiennent à l'intonation moyenne de la référence et lisent une tragédie sur le même ton qu'une documentation.
L'auteur de l'article, enseignant, construisait un cours interactif et voulait sortir de la lecture monotone. Son test : le monologue d'Hamlet face au crâne de Yorick, soit quatre phrases où la manière de dire doit changer quatre fois. D'abord une nostalgie chaleureuse, puis un spasme et du dégoût, ensuite un chuchotement sourd et, en conclusion, une série de questions d'une intensité croissante.
Ce qui n'a pas fonctionné
La base était un fine-tuning russophone de Qwen3-TTS 1.7B gérant les marques d'accentuation. La parole est nette et intelligible, mais émotionnellement plate. Sur la courbe de volume, on obtient presque une ligne horizontale sur tout le texte.
Deuxième tentative : découper le monologue en phrases, générer chacune avec sa propre référence, puis retoucher la hauteur de la voix dans Praat via parselmouth avec l'algorithme TD-PSOLA. Deux problèmes se posent. D'abord, le modèle copie de la référence non seulement l'intonation, mais aussi la distance au micro et l'acoustique de la pièce : aux raccords, on entend que les répliques ont été enregistrées dans des lieux différents.
Ensuite, le chuchotement et le spasme ne se réduisent pas à la hauteur du ton : les cordes vocales cessent de se fermer, le fondamental net disparaît et le bruit d'expiration apparaît. Si l'on se contente de déplacer F0, on obtient une modulation mécanique, pas un chuchotement. Pour de petites corrections, comme l'accent ou l'intonation d'une question, Praat reste en revanche un outil fiable.
Troisième hypothèse : prendre comme références des lecteurs professionnels du jeu de données ToneBooks. Le résultat est un livre audio de bonne facture, mais pas du théâtre. Le lecteur ménage ses cordes vocales et tient une diction régulière sur des heures ; les spasmes et la respiration coupée, il ne les joue pas.
En quoi Drama 3 diffère des TTS légers
Fish Audio a publié les poids fishaudio/drama-3 fin octobre 2026, et début novembre un portage 4 bits est apparu dans mlx-audio. Sous le capot : un modèle MoE de 35B paramètres avec 256 experts par couche, dont 8 actifs par token (environ 3 milliards de paramètres actifs). S'y ajoutent une tour audio dotée de sa propre mémoire temporelle et un codec 44,1 kHz.
La principale trouvaille pratique concerne les références. Le gabarit accepte plusieurs paires distinctes « texte plus audio » : parole calme, chuchotement, lourd soupir. Si l'on colle tout dans un seul fichier, un modèle zero-shot classique moyenne les états ou saute au hasard d'un ton à l'autre. Drama 3 rattache chaque état à sa propre transcription.
Le second procédé concerne le balisage. Dans ref_text, les balises [sighs] et <whisper>...</whisper> doivent être placées exactement là où l'acteur soupire ou chuchote dans l'enregistrement, et les mots doivent correspondre mot pour mot à ce qui est prononcé, faute de quoi l'alignement se dérègle. La balise du texte principal déclenche alors précisément l'inspiration et le chuchotement que le modèle a entendus chez cette personne.
Résultat et coût
Sur trois profils vocaux, le modèle a joué toutes les transitions. À [sighs], on entend une vraie inspiration, avec un changement de tempo et de hauteur, et non une simple pause. Dans <whisper>, on obtient un chuchotement sourd avec bruit d'air. Dans les questions finales, Drama 3 construit lui-même l'escalier d'intonation jusqu'à la rupture. Avec temperature=0.8, la durée de l'enregistrement varie de 40,5 à 44,0 s, mais il n'y a eu ni hallucinations ni mots avalés.
Le prix à payer : les poids en quantification mixte occupent 22,15 GiB, et sur un M4 Pro avec 48 Go, le pic de mémoire atteint 28,6–28,8 Go. Le chargement prend 8,3 s, et la génération tourne à environ 1:1 par rapport au temps réel. Sur une carte graphique de 24 Go de VRAM, ce modèle atteint son plafond.
Le plus petit S2 Pro (4B, 8-bit, 6,73 Go sur disque) s'initialise en 2,4 s et culmine à 12,45 Go, soit 2,3 fois moins. Il sait lui aussi chuchoter : sur la courbe, comme Drama 3, il plonge vers le bas. Mais il accepte un seul tableau de référence et des balises d'un mot comme [sigh], [sad], [whisper] ; les trois références doivent donc être collées avec une pause de 0,25 s.
Pour obtenir un timbre cible unique, l'auteur a fait passer les pistes par RVC v2 (40 kHz). Pour éviter que le convertisseur ne cherche à « chanter » le chuchotement avec les cordes vocales, il a réglé protect=0.35 et rms_mix_rate=0.25. L'inconvénient : une partie des hautes fréquences est coupée par rapport aux 44,1 kHz natifs. L'auteur y voit un compromis raisonnable : RVC s'entraîne sur 10–15 minutes d'enregistrement, alors que le fine-tuning d'un modèle de 35B est incomparablement plus complexe.
Ce qu'il faut en retenir
Si vous voulez une voix expressive plutôt qu'un présentateur, cherchez des modèles dotés d'un gabarit multi-références et de balises de mise en scène, au lieu d'essayer de réparer une intonation plate en post-traitement. Préparez des références d'une même personne dans différents états et balisez-les avec les mêmes balises que celles du texte principal. Si vous disposez de moins de 30 Go de mémoire, mieux vaut tester d'abord S2 Pro. La limite de ce travail : les tests portent sur un seul monologue et sur Mac, et l'auteur n'a pas testé le mode multivoix de Drama 3.
- 30 juil. 2026Fish Audio lève 52 M$ en seed pour ses modèles vocaux d'IA destinés aux créateurs et aux entreprises
- 3 févr. 2026Une voix russe prête à l'emploi : pourquoi le TTS open source ne sonne plus comme un robot des années 90
- 30 avr. 2026Tencent publie Covo-Audio, un modèle 7B pour le dialogue vocal et le raisonnement audio
- 27 avr. 2026OpenMOSS publie MOSS-Audio, un modèle audio ouvert qui devance des concurrents plus gros
Questions clés sur cet article
Que sait-on sur Ce qui n'a pas fonctionné ?
La base était un fine-tuning russophone de Qwen3-TTS 1.7B gérant les marques d'accentuation. La parole est nette et intelligible, mais émotionnellement plate. Sur la courbe de volume, on obtient presque une ligne horizontale sur tout le texte. Deuxième tentative : découper le monologue en phrases, générer chacune avec sa propre référence, puis retoucher la hauteur de la voix dans Praat via parselmouth avec l'algorithme TD-PSOLA. Deux problèmes se posent.
Que sait-on sur En quoi Drama 3 diffère des TTS légers ?
Fish Audio a publié les poids fishaudio/drama-3 fin octobre 2026, et début novembre un portage 4 bits est apparu dans mlx-audio. Sous le capot : un modèle MoE de 35B paramètres avec 256 experts par couche, dont 8 actifs par token (environ 3 milliards de paramètres actifs). S'y ajoutent une tour audio dotée de sa propre mémoire temporelle et un codec 44,1 kHz. La principale trouvaille pratique concerne les références.
Que sait-on sur Résultat et coût ?
Sur trois profils vocaux, le modèle a joué toutes les transitions. À [sighs], on entend une vraie inspiration, avec un changement de tempo et de hauteur, et non une simple pause. Dans <whisper>, on obtient un chuchotement sourd avec bruit d'air. Dans les questions finales, Drama 3 construit lui-même l'escalier d'intonation jusqu'à la rupture. Avec temperature=0.8, la durée de l'enregistrement varie de 40,5 à 44,0 s, mais il n'y a eu ni hallucinations ni mots avalés.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.