Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Una IA de voz en ruso en 21 MB: tiny-voca-ru funciona sin conexión en CPU

Su autor adaptó al ruso el modelo de síntesis de voz abierto tiny-voca: pesa unos 21 MB, tiene 4,5 millones de parámetros y funciona sin conexión en un procesador convencional. Se entrenó con 12 horas de habla de estudio del dataset Dialogs; los acentos los coloca RUAccent, con eSpeak como alternativa. Para la demo se montó un bot: micrófono, reconocimiento de voz, qwen3.5:9b en local y síntesis. Para respuestas cortas, notificaciones y bots telefónicos basta, sin suscripción a la nube.

Procesado por IA desde Habr AI; editado por Hamidun News
Una IA de voz en ruso en 21 MB: tiny-voca-ru funciona sin conexión en CPU
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Entrenamiento completo de 100 000 pasosunas 12,5 horas en V100 frente a 35–38 en P40
Dato clave #2Un límite de 125 W en la V100 dio 2,26 pasos/s en lugar de 1,66 con 225 W
Dato clave #3Dos voces, licencia Apache-2.0, pero los datos están bajo OpenRAIL: para uso comercial, lea las condiciones

Los asistentes de voz suelen toparse siempre con lo mismo: una síntesis de voz de calidad exige cientos de megabytes de pesos, una tarjeta gráfica o una API en la nube. Eso supone pagar por tráfico, depender de un servicio ajeno y plantearse adónde van a parar las voces de los usuarios. El desarrollador que ha publicado tiny-voca-ru tomó el camino opuesto: cogió un modelo abierto diminuto y le enseñó a hablar ruso. El resultado ocupa unos 21 MB en formato ONNX y tiene 4,5 millones de parámetros. Funciona sin conexión en una CPU convencional.

Qué se ha hecho exactamente

Como base se usó el modelo abierto tiny-voca. No incluía perfil para ruso, así que el autor lo añadió y entrenó el modelo desde cero con datos en ruso. Eligió el dataset Dialogs: diálogos emocionales de actores grabados en estudio. De él seleccionó dos voces, la femenina M1 y la masculina D1. Al principio había 17,42 horas; tras filtrar por alineación, confianza del etiquetado y fonemas desconocidos, quedaron unas 12 horas de habla limpia. Una comprobación por muestreo de 60 clips mediante reconocimiento de voz dio una tasa de error de palabras del 3,3%. No garantiza que los datos sean perfectos, pero indica que el etiquetado no se desmorona.

Una parte aparte del trabajo es el «frontend» ruso, es decir, la conversión del texto en sonidos. Para los fonemas se usa eSpeak NG. Los acentos se toman de Dialogs en las frases que están en el corpus; para texto arbitrario los coloca RUAccent, que además resuelve los homógrafos. No es el único punto de fallo: si el acentuador no está disponible, el sistema recurre a eSpeak. También hay un pequeño diccionario de excepciones para nombres de servicios y palabras cuya pronunciación debe ser estable. El texto se fonemiza por frases completas; de lo contrario, la preposición «с» podría sonar como una letra suelta.

Hardware y un efecto inesperado con el límite de potencia

Un entrenamiento piloto de 15 000 pasos llevó unas 4,7 horas en una Tesla P40. Incluso con él, Whisper large-v3 reconoció sin errores las frases de control, aunque la entonación seguía siendo apagada. El entrenamiento completo de 100 000 pasos habría tardado de 35 a 38 horas en la P40, mientras que en una Tesla V100 de 32 GB se completó en unas 12,5 horas de tiempo de GPU. La aceleración fue de 4 a 5 veces en la etapa previa a la GAN y de unas 2,4 veces en la fase GAN.

Una observación curiosa: en la V100, limitar la potencia a 125 W dio 2,26 pasos por segundo a 70 °C, mientras que con 225 W la velocidad fue de 1,66 pasos/s a 74 °C. El autor lo atribuye a que, con el límite más bajo, la tarjeta trabajaba de forma más estable y la preparación de datos lograba seguirle el ritmo. Él mismo aclara que no es una ley universal: en la mayoría de las tareas, reducir la potencia disminuye la velocidad. La conclusión práctica es más modesta: si el entrenamiento está limitado por el cargador de datos, conviene medir varios límites; es una prueba gratuita.

Asistente de demostración y limitaciones

El modelo no se presenta solo como un botón de «locutar». En voice.lmchat.ru se puede introducir texto, elegir voz y velocidad, intercambiar mensajes de voz con el bot o llamarlo desde el navegador. La cadena es esta: micrófono, reconocimiento de voz, LLM local qwen3.5:9b a través de Ollama, frontend ruso, síntesis y reproducción. Para telefonía real se usa la combinación de Asterisk y AudioSocket: el bot atiende la llamada y tiny-voca locuta la respuesta.

Las limitaciones son reconocidas con franqueza. La calidad es inferior a la de los grandes TTS en la nube, sobre todo en entonación compleja y textos largos. A veces se equivoca con los acentos en palabras poco frecuentes. El modelo está pensado para respuestas cortas, no para audiolibros. Las métricas del piloto (error de tono de 3,07 semitonos, precisión de pausas de alrededor del 92%) muestran que el habla se entiende, pero el WER en frases de control no mide la naturalidad.

Hay además un matiz legal. El código y el modelo están bajo Apache-2.0, pero los datos de entrenamiento se distribuyen bajo OpenRAIL y las voces pertenecen a actores reales. En proyectos comerciales hay que revisar las condiciones por separado y no hacer publicidad en nombre de esas voces sin los derechos correspondientes.

Para los profesionales, la conclusión principal es esta: un bot de voz para notificaciones, terminales, escenarios de llamadas o dispositivos embebidos ya no necesita un TTS en la nube. La combinación de un modelo de síntesis pequeño y una LLM local de 9.000 millones de parámetros elimina los pagos recurrentes por API y mantiene los datos dentro del perímetro propio. No cabe esperar un habla perfecta, pero la barrera de entrada baja de forma drástica.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se ha hecho exactamente?

Como base se usó el modelo abierto tiny-voca. No incluía perfil para ruso, así que el autor lo añadió y entrenó el modelo desde cero con datos en ruso. Eligió el dataset Dialogs: diálogos emocionales de actores grabados en estudio. De él seleccionó dos voces, la femenina M1 y la masculina D1. Al principio había 17,42 horas; tras filtrar por alineación, confianza del etiquetado y fonemas desconocidos, quedaron unas 12 horas de habla limpia.

¿Qué se sabe sobre Hardware y un efecto inesperado con el límite de potencia?

Un entrenamiento piloto de 15 000 pasos llevó unas 4,7 horas en una Tesla P40. Incluso con él, Whisper large-v3 reconoció sin errores las frases de control, aunque la entonación seguía siendo apagada. El entrenamiento completo de 100 000 pasos habría tardado de 35 a 38 horas en la P40, mientras que en una Tesla V100 de 32 GB se completó en unas 12,5 horas de tiempo de GPU. La aceleración fue de 4 a 5 veces en la etapa previa a la GAN y de unas 2,4 veces en la fase GAN.

¿Qué se sabe sobre Asistente de demostración y limitaciones?

El modelo no se presenta solo como un botón de «locutar». En voice.lmchat.ru se puede introducir texto, elegir voz y velocidad, intercambiar mensajes de voz con el bot o llamarlo desde el navegador. La cadena es esta: micrófono, reconocimiento de voz, LLM local qwen3.5:9b a través de Ollama, frontend ruso, síntesis y reproducción. Para telefonía real se usa la combinación de Asterisk y AudioSocket: el bot atiende la llamada y tiny-voca locuta la respuesta. Las limitaciones son reconocidas con franqueza.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…