Fish Audio Drama 3 permite al TTS local susurrar y quebrar la voz en un mismo párrafo
Los pequeños modelos TTS locales de 0,5–1,7B de parámetros leen un monólogo dramático con la misma soltura que la documentación de una API: suavizan los susurros y los quiebres de voz. El autor del análisis probó Praat y referencias de audiolibros antes de ejecutar Fish Audio Drama 3 (35B-A3B MoE) en un Mac. El modelo suspira por sí solo con la etiqueta [sighs], pasa al susurro y aumenta la intensidad en las preguntas finales.
Procesado por IA desde Habr AI; editado por Hamidun News
Los modelos TTS locales actuales bastan de sobra para una locución uniforme. Basta con proporcionar una muestra limpia de voz y marcar los acentos para obtener una narración adecuada de una clase o un videotutorial. Los problemas empiezan cuando hace falta interpretación: en un mismo párrafo, la voz debe pasar por la ironía, el nudo en la garganta, el susurro y el quiebre. Los modelos de 0,5–1,7B de parámetros mantienen la entonación media de la referencia y leen una tragedia con el mismo tono que la documentación.
El autor del artículo, que es docente, estaba preparando un curso interactivo y quería evitar una narración monótona. Eligió como prueba el monólogo de Hamlet con la calavera de Yorick: cuatro frases que exigen cuatro cambios de interpretación. Primero, una nostalgia cálida; después, un espasmo y repulsión; luego, un susurro apagado; y, al final, una serie de preguntas con una intensidad creciente.
Qué no funcionó
El punto de partida fue una versión de Qwen3-TTS 1.7B ajustada para el ruso con marcas de acentuación. El habla resultó limpia e inteligible, pero emocionalmente plana. En el gráfico de volumen, esto se traduce en una línea casi horizontal a lo largo de todo el texto.
La segunda tentativa consistió en dividir el monólogo en frases, generar cada una con su propia referencia y ajustar después la altura de la voz en Praat mediante parselmouth y el algoritmo TD-PSOLA. Aquí aparecen dos problemas. Primero, el modelo copia de la referencia tanto la entonación como la distancia al micrófono y la acústica de la sala, de modo que en los empalmes se oye que las intervenciones se grabaron en espacios distintos.
Segundo, el susurro y el espasmo no se reducen a la altura tonal: las cuerdas vocales dejan de cerrarse, desaparece el tono fundamental limpio y aparece el ruido de la exhalación. Si solo se modifica F0, el resultado es una modulación mecánica, no un susurro. Aun así, Praat sigue siendo una herramienta útil para pequeños retoques, como un acento o la entonación de una pregunta.
La tercera hipótesis fue utilizar como referencias a narradores profesionales del conjunto de datos ToneBooks. El resultado fue un audiolibro de calidad, pero sin dramatismo. El narrador cuida las cuerdas vocales y mantiene una interpretación uniforme durante muchas horas; no interpreta espasmos ni una respiración entrecortada.
En qué se diferencia Drama 3 de los TTS ligeros
Fish Audio publicó los pesos de fishaudio/drama-3 a finales de octubre de 2026, y a principios de noviembre apareció una adaptación de 4 bits en mlx-audio. Por dentro hay un modelo MoE de 35B de parámetros con 256 expertos por capa, de los cuales se activan 8 por token (unos 3 mil millones de parámetros activos). A esto se añaden una torre de audio con memoria temporal propia y un códec de 44,1 kHz.
El principal hallazgo práctico tiene que ver con las referencias. La plantilla acepta varios pares separados de «texto más audio»: habla tranquila, susurro y una exhalación profunda. Si se concatena todo en un único archivo, un modelo zero-shot convencional promedia los estados o cambia de tono de forma caótica. Drama 3 vincula cada estado con su propia transcripción.
La segunda técnica se refiere al etiquetado. En ref_text, las etiquetas [sighs] y <whisper>...</whisper> deben colocarse exactamente donde el actor suspira o susurra en la grabación, y las palabras deben coincidir literalmente con lo pronunciado; de lo contrario, se desajusta la alineación. Así, la etiqueta en el texto principal provoca precisamente la inspiración y el susurro que el modelo ha oído en esa persona.
Resultado y coste
Con tres perfiles de voz, el modelo interpretó todas las transiciones. Con [sighs] se oye una inspiración real, con cambios de ritmo y altura tonal, y no una simple pausa. Dentro de <whisper> produce un susurro apagado con ruido de aire. En las preguntas finales, Drama 3 construye por sí sola una progresión de entonación hasta quebrar la voz. Con temperature=0.8, la duración de la grabación varía entre 40,5 y 44,0 s, pero no hubo alucinaciones ni palabras omitidas.
El coste es el siguiente. Los pesos con cuantización mixta ocupan 22,15 GiB, y en un M4 Pro con 48 GB el pico de memoria alcanza 28,6–28,8 GB. La carga tarda 8,3 s y la generación avanza aproximadamente a 1:1 respecto al tiempo real. En una tarjeta gráfica con 24 GB de VRAM, un modelo así alcanza el límite de memoria.
La versión menor, S2 Pro (4B, 8-bit, 6,73 GB en disco), se inicializa en 2,4 s y alcanza un pico de 12,45 GB, es decir, 2,3 veces menos. También consigue susurrar: en el gráfico, su volumen cae al mínimo, igual que el de Drama 3. Pero acepta un único array de referencia y etiquetas de una sola palabra, como [sigh], [sad] y [whisper], por lo que hay que concatenar las tres referencias con una pausa de 0,25 s.
Para obtener un timbre objetivo uniforme, el autor procesó las pistas con RVC v2 (40 kHz). Configuró protect=0.35 y rms_mix_rate=0.25 para que el conversor no intentara «cantar» el susurro con las cuerdas vocales. La desventaja es que se recorta parte de las frecuencias altas respecto a los 44,1 kHz nativos. El autor lo considera un compromiso razonable: RVC se entrena con 10–15 minutos de grabación, mientras que ajustar un modelo de 35B resulta incomparablemente más complejo.
Qué se desprende de todo esto
Si se necesita una narración emocional en lugar de una locución neutra, conviene buscar modelos con una plantilla que admita múltiples referencias y etiquetas de dirección interpretativa, en vez de intentar corregir una entonación plana mediante posprocesado. Hay que preparar referencias de una misma persona en distintos estados y marcarlas con las mismas etiquetas que se usan en el texto principal. Si se dispone de menos de 30 GB de memoria, conviene probar primero S2 Pro. La limitación del artículo es que las pruebas se hicieron con un solo monólogo y en un Mac; el autor no probó el modo de múltiples voces de Drama 3.
- 30 jul 2026Fish Audio capta 52 millones de dólares en una ronda seed para sus modelos de voz con IA dirigidos a creadores y empresas
- 3 feb 2026Voz rusa lista para usar: por qué el TTS de código abierto ya no suena a robot de los 90
- 30 abr 2026Tencent libera Covo-Audio, un modelo de 7B para diálogos por voz y razonamiento de audio
- 27 abr 2026OpenMOSS lanza MOSS-Audio, un modelo de audio abierto que supera a rivales más grandes
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué no funcionó?
El punto de partida fue una versión de Qwen3-TTS 1.7B ajustada para el ruso con marcas de acentuación. El habla resultó limpia e inteligible, pero emocionalmente plana. En el gráfico de volumen, esto se traduce en una línea casi horizontal a lo largo de todo el texto. La segunda tentativa consistió en dividir el monólogo en frases, generar cada una con su propia referencia y ajustar después la altura de la voz en Praat mediante parselmouth y el algoritmo TD-PSOLA. Aquí aparecen dos problemas.
¿Qué se sabe sobre En qué se diferencia Drama 3 de los TTS ligeros?
Fish Audio publicó los pesos de fishaudio/drama-3 a finales de octubre de 2026, y a principios de noviembre apareció una adaptación de 4 bits en mlx-audio. Por dentro hay un modelo MoE de 35B de parámetros con 256 expertos por capa, de los cuales se activan 8 por token (unos 3 mil millones de parámetros activos). A esto se añaden una torre de audio con memoria temporal propia y un códec de 44,1 kHz. El principal hallazgo práctico tiene que ver con las referencias.
¿Qué se sabe sobre Resultado y coste?
Con tres perfiles de voz, el modelo interpretó todas las transiciones. Con [sighs] se oye una inspiración real, con cambios de ritmo y altura tonal, y no una simple pausa. Dentro de <whisper> produce un susurro apagado con ruido de aire. En las preguntas finales, Drama 3 construye por sí sola una progresión de entonación hasta quebrar la voz. Con temperature=0.8, la duración de la grabación varía entre 40,5 y 44,0 s, pero no hubo alucinaciones ni palabras omitidas. El coste es el siguiente.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.