Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoHabr AI→ original

Fish Audio Drama 3 faz TTS local sussurrar e deixar a voz falhar no mesmo parágrafo

Modelos pequenos de TTS local, com 0,5–1,7B parâmetros, leem um monólogo dramático com a mesma desenvoltura com que leem documentação de API: eles suavizam os sussurros e as falhas na voz. O autor da análise experimentou o Praat e referências de audiolivros antes de rodar o Fish Audio Drama 3 (35B-A3B MoE) em um Mac. O modelo suspira por conta própria com a tag [sighs], passa ao sussurro e aumenta a intensidade das perguntas finais.

Processado por IA de Habr AI; editado por Hamidun News
Fish Audio Drama 3 faz TTS local sussurrar e deixar a voz falhar no mesmo parágrafo
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Três referências emocionais da mesma voz em vez de um único arquivo com os trechos concatenados
Versão 4-bitaté 28,8 GB de memória e velocidade de cerca de 1:1 em relação ao tempo real
Dado-chave #3A versão menor, S2 Pro (4B), ocupa 12,45 GB e também consegue sussurrar

Os modelos locais de TTS disponíveis hoje dão conta com folga de uma narração uniforme. Basta fornecer uma amostra limpa da voz, marcar as sílabas tônicas e obter uma locução adequada para uma aula ou um vídeo de instruções. Os problemas começam quando é preciso interpretar: em um mesmo parágrafo, a voz precisa passar pela ironia, pelo nó na garganta, pelo sussurro e pela falha na voz. Modelos com 0,5–1,7B parâmetros mantêm a entonação média da referência e leem uma tragédia no mesmo tom que usam para documentação.

O autor do material, que é professor, estava montando um curso interativo e queria fugir da narração monótona. O teste escolhido foi o monólogo de Hamlet com o crânio de Yorick: quatro frases que exigem quatro mudanças de interpretação. Primeiro, uma nostalgia afetuosa; depois, um espasmo e repulsa; em seguida, um sussurro abafado; e, no final, uma série de perguntas com intensidade crescente.

O que não funcionou

A base foi uma versão do Qwen3-TTS 1.7B com ajuste fino para russo e suporte a marcas de tonicidade. A fala saiu limpa e inteligível, mas sem variação emocional. No gráfico de volume, isso aparece como uma linha quase horizontal ao longo de todo o texto.

A segunda tentativa foi dividir o monólogo em frases, gerar cada uma com sua própria referência e ajustar a altura da voz no Praat, via parselmouth, com o algoritmo TD-PSOLA. Aqui há dois problemas. Primeiro, o modelo copia da referência tanto a entonação quanto a distância do microfone e a acústica da sala.

Por isso, nas emendas, dá para ouvir que as falas foram gravadas em ambientes diferentes. Segundo, o sussurro e o espasmo não se resumem à altura da voz: as pregas vocais deixam de se fechar, o tom fundamental puro desaparece e surge o ruído do ar expirado. Alterar apenas F0 produz uma modulação mecânica, não um sussurro.

Ainda assim, o Praat continua sendo uma ferramenta útil para pequenos ajustes, como a tonicidade ou a entonação de uma pergunta.

A terceira hipótese foi usar como referências narradores profissionais do dataset ToneBooks. O resultado foi um bom audiolivro, mas sem interpretação dramática. O narrador poupa as pregas vocais e mantém uma interpretação uniforme ao longo de muitas horas, sem encenar espasmos ou uma respiração entrecortada.

Como o Drama 3 se diferencia dos TTS leves

A Fish Audio disponibilizou os pesos de fishaudio/drama-3 no fim de outubro de 2026, e uma versão de 4 bits chegou ao mlx-audio no início de novembro. Por dentro, há um modelo MoE de 35B parâmetros, com 256 especialistas por camada, dos quais 8 ficam ativos por token (cerca de 3 bilhões de parâmetros ativos). A ele se somam uma torre de áudio com memória temporal própria e um codec de 44,1 kHz.

A principal descoberta prática está nas referências. O template aceita vários pares separados de “texto mais áudio”: fala tranquila, sussurro, expiração pesada. Se tudo for concatenado em um único arquivo, um modelo zero-shot comum tira uma média desses estados ou muda de tom de forma caótica. O Drama 3 associa cada estado à sua própria transcrição.

A segunda técnica envolve a marcação. Em ref_text, as tags [sighs] e <whisper>...</whisper> precisam aparecer exatamente onde o ator suspira ou sussurra na gravação, e as palavras devem corresponder literalmente ao que foi dito. Caso contrário, o alinhamento se perde. Assim, a tag no texto principal provoca justamente aquela inspiração e aquele sussurro que o modelo ouviu daquela pessoa.

Resultado e custo

Nos três perfis de voz, o modelo interpretou todas as transições. Com [sighs], ouve-se uma inspiração de verdade, com mudança de ritmo e altura da voz, e não apenas uma pausa. Dentro de <whisper>, o resultado é um sussurro abafado, com ruído de ar. Nas perguntas finais, o Drama 3 constrói sozinho uma progressão de entonação até a voz falhar. Com temperature=0.8, a duração da gravação varia de 40,5 a 44,0 s, mas não houve alucinações nem palavras engolidas.

O custo é este: os pesos com quantização mista ocupam 22,15 GiB, e, em um M4 Pro com 48 GB, o pico de uso de memória fica em 28,6–28,8 GB. O carregamento leva 8,3 s, e a geração roda em aproximadamente 1:1 em relação ao tempo real. Em uma placa de vídeo com 24 GB de VRAM, esse modelo esbarra no limite de memória.

A versão menor, S2 Pro (4B, 8-bit, 6,73 GB em disco), inicializa em 2,4 s e chega a um pico de 12,45 GB, um consumo 2,3 vezes menor. Ela também consegue sussurrar: no gráfico, o volume cai até o fundo, assim como no Drama 3. Mas ela aceita um único array de referência e tags de uma só palavra, como [sigh], [sad] e [whisper]. Por isso, é preciso concatenar as três referências com uma pausa de 0,25 s.

Para chegar a um único timbre de destino, o autor passou as faixas pelo RVC v2 (40 kHz). Para evitar que o conversor tentasse “cantar” o sussurro com as pregas vocais, os parâmetros foram definidos como protect=0.35 e rms_mix_rate=0.25. A desvantagem é o corte de parte das frequências altas em relação aos 44,1 kHz nativos. O autor considera essa troca razoável: o RVC pode ser treinado com 10–15 minutos de gravação, enquanto fazer o ajuste fino de um modelo de 35B é incomparavelmente mais complexo.

O que isso significa

Se você precisa de uma voz com interpretação emocional, em vez de uma narração convencional, procure modelos com templates que aceitem múltiplas referências e tags de direção de voz, em vez de tentar corrigir uma entonação plana no pós-processamento. Prepare referências de uma mesma pessoa em diferentes estados e marque-as com as mesmas tags usadas no texto principal. Se houver menos de 30 GB de memória, vale testar primeiro o S2 Pro. A limitação do material é que os testes foram feitos com um único monólogo e em um Mac, e o autor não testou o modo de múltiplas vozes do Drama 3.

História

Perguntas frequentes sobre a notícia

O que não funcionou?

A base foi uma versão do Qwen3-TTS 1.7B com ajuste fino para russo e suporte a marcas de tonicidade. A fala saiu limpa e inteligível, mas sem variação emocional. No gráfico de volume, isso aparece como uma linha quase horizontal ao longo de todo o texto. A segunda tentativa foi dividir o monólogo em frases, gerar cada uma com sua própria referência e ajustar a altura da voz no Praat, via parselmouth, com o algoritmo TD-PSOLA. Aqui há dois problemas.

Como o Drama 3 se diferencia dos TTS leves?

A Fish Audio disponibilizou os pesos de fishaudio/drama-3 no fim de outubro de 2026, e uma versão de 4 bits chegou ao mlx-audio no início de novembro. Por dentro, há um modelo MoE de 35B parâmetros, com 256 especialistas por camada, dos quais 8 ficam ativos por token (cerca de 3 bilhões de parâmetros ativos). A ele se somam uma torre de áudio com memória temporal própria e um codec de 44,1 kHz. A principal descoberta prática está nas referências.

O que se sabe sobre Resultado e custo?

Nos três perfis de voz, o modelo interpretou todas as transições. Com [sighs], ouve-se uma inspiração de verdade, com mudança de ritmo e altura da voz, e não apenas uma pausa. Dentro de <whisper>, o resultado é um sussurro abafado, com ruído de ar. Nas perguntas finais, o Drama 3 constrói sozinho uma progressão de entonação até a voz falhar. Com temperature=0.8, a duração da gravação varia de 40,5 a 44,0 s, mas não houve alucinações nem palavras engolidas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…