Fish Audio Drama 3 faz TTS local sussurrar e deixar a voz falhar no mesmo parágrafo
Modelos pequenos de TTS local, com 0,5–1,7B parâmetros, leem um monólogo dramático com a mesma desenvoltura com que leem documentação de API: eles suavizam os sussurros e as falhas na voz. O autor da análise experimentou o Praat e referências de audiolivros antes de rodar o Fish Audio Drama 3 (35B-A3B MoE) em um Mac. O modelo suspira por conta própria com a tag [sighs], passa ao sussurro e aumenta a intensidade das perguntas finais.
Processado por IA de Habr AI; editado por Hamidun News
Os modelos locais de TTS disponíveis hoje dão conta com folga de uma narração uniforme. Basta fornecer uma amostra limpa da voz, marcar as sílabas tônicas e obter uma locução adequada para uma aula ou um vídeo de instruções. Os problemas começam quando é preciso interpretar: em um mesmo parágrafo, a voz precisa passar pela ironia, pelo nó na garganta, pelo sussurro e pela falha na voz. Modelos com 0,5–1,7B parâmetros mantêm a entonação média da referência e leem uma tragédia no mesmo tom que usam para documentação.
O autor do material, que é professor, estava montando um curso interativo e queria fugir da narração monótona. O teste escolhido foi o monólogo de Hamlet com o crânio de Yorick: quatro frases que exigem quatro mudanças de interpretação. Primeiro, uma nostalgia afetuosa; depois, um espasmo e repulsa; em seguida, um sussurro abafado; e, no final, uma série de perguntas com intensidade crescente.
O que não funcionou
A base foi uma versão do Qwen3-TTS 1.7B com ajuste fino para russo e suporte a marcas de tonicidade. A fala saiu limpa e inteligível, mas sem variação emocional. No gráfico de volume, isso aparece como uma linha quase horizontal ao longo de todo o texto.
A segunda tentativa foi dividir o monólogo em frases, gerar cada uma com sua própria referência e ajustar a altura da voz no Praat, via parselmouth, com o algoritmo TD-PSOLA. Aqui há dois problemas. Primeiro, o modelo copia da referência tanto a entonação quanto a distância do microfone e a acústica da sala.
Por isso, nas emendas, dá para ouvir que as falas foram gravadas em ambientes diferentes. Segundo, o sussurro e o espasmo não se resumem à altura da voz: as pregas vocais deixam de se fechar, o tom fundamental puro desaparece e surge o ruído do ar expirado. Alterar apenas F0 produz uma modulação mecânica, não um sussurro.
Ainda assim, o Praat continua sendo uma ferramenta útil para pequenos ajustes, como a tonicidade ou a entonação de uma pergunta.
A terceira hipótese foi usar como referências narradores profissionais do dataset ToneBooks. O resultado foi um bom audiolivro, mas sem interpretação dramática. O narrador poupa as pregas vocais e mantém uma interpretação uniforme ao longo de muitas horas, sem encenar espasmos ou uma respiração entrecortada.
Como o Drama 3 se diferencia dos TTS leves
A Fish Audio disponibilizou os pesos de fishaudio/drama-3 no fim de outubro de 2026, e uma versão de 4 bits chegou ao mlx-audio no início de novembro. Por dentro, há um modelo MoE de 35B parâmetros, com 256 especialistas por camada, dos quais 8 ficam ativos por token (cerca de 3 bilhões de parâmetros ativos). A ele se somam uma torre de áudio com memória temporal própria e um codec de 44,1 kHz.
A principal descoberta prática está nas referências. O template aceita vários pares separados de “texto mais áudio”: fala tranquila, sussurro, expiração pesada. Se tudo for concatenado em um único arquivo, um modelo zero-shot comum tira uma média desses estados ou muda de tom de forma caótica. O Drama 3 associa cada estado à sua própria transcrição.
A segunda técnica envolve a marcação. Em ref_text, as tags [sighs] e <whisper>...</whisper> precisam aparecer exatamente onde o ator suspira ou sussurra na gravação, e as palavras devem corresponder literalmente ao que foi dito. Caso contrário, o alinhamento se perde. Assim, a tag no texto principal provoca justamente aquela inspiração e aquele sussurro que o modelo ouviu daquela pessoa.
Resultado e custo
Nos três perfis de voz, o modelo interpretou todas as transições. Com [sighs], ouve-se uma inspiração de verdade, com mudança de ritmo e altura da voz, e não apenas uma pausa. Dentro de <whisper>, o resultado é um sussurro abafado, com ruído de ar. Nas perguntas finais, o Drama 3 constrói sozinho uma progressão de entonação até a voz falhar. Com temperature=0.8, a duração da gravação varia de 40,5 a 44,0 s, mas não houve alucinações nem palavras engolidas.
O custo é este: os pesos com quantização mista ocupam 22,15 GiB, e, em um M4 Pro com 48 GB, o pico de uso de memória fica em 28,6–28,8 GB. O carregamento leva 8,3 s, e a geração roda em aproximadamente 1:1 em relação ao tempo real. Em uma placa de vídeo com 24 GB de VRAM, esse modelo esbarra no limite de memória.
A versão menor, S2 Pro (4B, 8-bit, 6,73 GB em disco), inicializa em 2,4 s e chega a um pico de 12,45 GB, um consumo 2,3 vezes menor. Ela também consegue sussurrar: no gráfico, o volume cai até o fundo, assim como no Drama 3. Mas ela aceita um único array de referência e tags de uma só palavra, como [sigh], [sad] e [whisper]. Por isso, é preciso concatenar as três referências com uma pausa de 0,25 s.
Para chegar a um único timbre de destino, o autor passou as faixas pelo RVC v2 (40 kHz). Para evitar que o conversor tentasse “cantar” o sussurro com as pregas vocais, os parâmetros foram definidos como protect=0.35 e rms_mix_rate=0.25. A desvantagem é o corte de parte das frequências altas em relação aos 44,1 kHz nativos. O autor considera essa troca razoável: o RVC pode ser treinado com 10–15 minutos de gravação, enquanto fazer o ajuste fino de um modelo de 35B é incomparavelmente mais complexo.
O que isso significa
Se você precisa de uma voz com interpretação emocional, em vez de uma narração convencional, procure modelos com templates que aceitem múltiplas referências e tags de direção de voz, em vez de tentar corrigir uma entonação plana no pós-processamento. Prepare referências de uma mesma pessoa em diferentes estados e marque-as com as mesmas tags usadas no texto principal. Se houver menos de 30 GB de memória, vale testar primeiro o S2 Pro. A limitação do material é que os testes foram feitos com um único monólogo e em um Mac, e o autor não testou o modo de múltiplas vozes do Drama 3.
- 30 de jul. de 2026Fish Audio capta US$ 52 milhões em rodada seed para modelos de voz com IA voltados a criadores e empresas
- 3 de fev. de 2026Voz russa pronta para usar: por que o TTS de código aberto não soa mais como um robô dos anos 90
- 30 de abr. de 2026Tencent libera Covo-Audio, modelo de 7B para diálogos por voz e raciocínio em áudio
- 27 de abr. de 2026OpenMOSS lança MOSS-Audio, modelo de áudio aberto que supera rivais maiores
Perguntas frequentes sobre a notícia
O que não funcionou?
A base foi uma versão do Qwen3-TTS 1.7B com ajuste fino para russo e suporte a marcas de tonicidade. A fala saiu limpa e inteligível, mas sem variação emocional. No gráfico de volume, isso aparece como uma linha quase horizontal ao longo de todo o texto. A segunda tentativa foi dividir o monólogo em frases, gerar cada uma com sua própria referência e ajustar a altura da voz no Praat, via parselmouth, com o algoritmo TD-PSOLA. Aqui há dois problemas.
Como o Drama 3 se diferencia dos TTS leves?
A Fish Audio disponibilizou os pesos de fishaudio/drama-3 no fim de outubro de 2026, e uma versão de 4 bits chegou ao mlx-audio no início de novembro. Por dentro, há um modelo MoE de 35B parâmetros, com 256 especialistas por camada, dos quais 8 ficam ativos por token (cerca de 3 bilhões de parâmetros ativos). A ele se somam uma torre de áudio com memória temporal própria e um codec de 44,1 kHz. A principal descoberta prática está nas referências.
O que se sabe sobre Resultado e custo?
Nos três perfis de voz, o modelo interpretou todas as transições. Com [sighs], ouve-se uma inspiração de verdade, com mudança de ritmo e altura da voz, e não apenas uma pausa. Dentro de <whisper>, o resultado é um sussurro abafado, com ruído de ar. Nas perguntas finais, o Drama 3 constrói sozinho uma progressão de entonação até a voz falhar. Com temperature=0.8, a duração da gravação varia de 40,5 a 44,0 s, mas não houve alucinações nem palavras engolidas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.