Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoCódigo / SDK · Listo para usarХабр: NLP→ original

Glas reentrena el reconocimiento de voz GigaAM-v3: los términos de IT salen bien en el 87% de los casos, frente al 44%

El dictador Glas, basado en el modelo de reconocimiento de voz GigaAM-v3, transcribía Docker como «докер» (fonética rusa de «doquer») y «Мой ИИ редко ошибается» (mi IA se equivoca pocas veces) como «Мои редко ошибается» (frase sin sentido). Tras reentrenarlo con 25 horas de habla real, la proporción de términos de IT bien escritos subió del 43,8% al 86,7%, y la tasa de palabras erróneas (WER) bajó del 8,81% al 5,76%. Es una beta y el conjunto de prueba se etiquetó con el mismo pipeline que el entrenamiento, así que conviene verificar el resultado con datos propios.

Procesado por IA desde Хабр: NLP; editado por Hamidun News
Glas reentrena el reconocimiento de voz GigaAM-v3: los términos de IT salen bien en el 87% de los casos, frente al 44%
Fuente: Хабр: NLP. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalХабр: NLP ↗
Editor jefe
Dato clave #1Se reentrenó el modelo RNNT en producción, sin cambiar la arquitectura ni el formato de los pesos
Contrasomite palabras con más frecuencia y en habla corriente maneja peor las mayúsculas y minúsculas
HardwareRTX A2000 de 12 GB, la velocidad apenas cambió

Si dicta revisiones de código o notas de trabajo, conoce este problema: el reconocimiento de voz resuelve sin esfuerzo un «hola, ¿qué tal?», pero se rompe con el vocabulario del día a día de un desarrollador. El programa de dictado Glas funciona con GigaAM-v3, un modelo de reconocimiento de habla rusa, y justo con el léxico de IT tropezaba: Docker se convertía en «докер» (fonética rusa de «doquer») y Python en «Пайтон» (fonética rusa de «Páiton»).

El equipo de Glas reentrenó el modelo con 25 horas de habla real y la proporción de términos de IT bien escritos subió del 43,8% al 86,7%, es decir, de «menos de la mitad» a «casi siempre». La tasa general de palabras erróneas (WER) bajó a la vez del 8,81% al 5,76%, alrededor de un 35% en términos relativos respecto al valor inicial.

Qué fallaba exactamente

El modelo base entendía bien el habla rusa corriente, pero fallaba con tres grupos de palabras: nombres ingleses (Docker, Kubernetes), anglicismos ya asentados como «дашборд» (dashboard) y la abreviatura «ИИ» (IA). A veces desaparecían palabras enteras. La frase «Мой ИИ редко ошибается» (mi IA se equivoca pocas veces) el modelo la transcribió como «Мои редко ошибается» (frase sin sentido).

Un simple diccionario de sustituciones ayuda solo en parte. Solo Kubernetes se transformó en las pruebas en «Кьюбернит», «Куберните», «кубернетис», «Gubernitis» y «Qubernit». Todas esas variantes no caben en un diccionario. Con «ИИ» es aún más complicado: en un texto aislado cuesta distinguir la abreviatura de la conjunción «и» alargada; hace falta el sonido. Por tanto, hay que arreglar el propio modelo, no el posprocesado.

Cómo se reentrenó y qué resultó

GigaAM es una familia de modelos de reconocimiento de voz con arquitectura Conformer. El equipo usa la variante con cabeza RNNT, que devuelve directamente texto con mayúsculas y puntuación. En el servidor, el codificador funciona en FP16 y la cabeza RNNT en FP32. Silero VAD corta las grabaciones largas por las pausas y los segmentos cortos se reconocen por lotes. La decodificación es voraz (greedy), sin modelo de lenguaje externo, y el hardware es una tarjeta gráfica RTX A2000 de 12 GB.

No hizo falta cambiar el tokenizador: su vocabulario de 1024 tokens ya incluye caracteres latinos y los nombres necesarios se codifican sin rodeos. También se mantuvieron la arquitectura, el código del modelo y el formato de los pesos, para poder sustituir la versión antigua por la reentrenada sin rehacer el servidor.

El reentrenamiento final usó 25 horas de habla real. La prueba con 525 grabaciones cortas reservadas arrojó estas cifras:

  • el WER bajó del 8,81% al 5,76%;
  • la proporción de términos bien escritos subió del 43,8% al 86,7%;
  • la velocidad de funcionamiento apenas cambió.

Para producción, el último punto importa tanto como los dos primeros: la calidad mejoró sin costes adicionales de GPU.

La lección del primer intento fallido

Al principio, el equipo tomó la variante CTC de GigaAM y reunió 4,4 horas de datos: unas 1100 frases sintéticas con términos de IT y aproximadamente otras tantas grabaciones de las partes rusa e inglesa del dataset FLEURS. Congelaron las 12 capas inferiores del codificador y entrenaron las cuatro superiores y la cabeza CTC.

En un banco de 12 frases sintéticas, la proporción de términos correctos saltó del 6% al 86%. Pero al compararlo con el modelo RNNT en producción sobre 150 grabaciones reales de FLEURS, el panorama fue distinto. La conclusión práctica: un buen resultado en una prueba artificial no garantiza nada; hay que verificar con habla real.

Limitaciones, sin maquillaje

Los autores llaman a la versión 0.01 y beta, y no ocultan los inconvenientes. El modelo reentrenado omite palabras con más frecuencia y, en habla corriente, reproduce peor las mayúsculas y minúsculas y la puntuación. Además, la muestra de prueba se etiquetó con el mismo pipeline automático que la de entrenamiento, con revisión manual solo por muestreo. Parte de la mejora puede deberse a la coincidencia en el estilo de etiquetado y no a una mejora real del reconocimiento.

Qué hacer con esto

Si está construyendo entrada de voz, transcripción de reuniones o un asistente para desarrolladores, de esta historia se pueden extraer varias reglas:

  • antes de escribir un diccionario de sustituciones, reúna una lista de errores reales: si un término se escribe de cinco maneras, hay que arreglar el modelo;
  • reentrenar con decenas de horas de habla real puede duplicar la precisión de los términos sin cambiar la arquitectura y sin aumentar la carga sobre el hardware;
  • mantenga la compatibilidad con el formato de los pesos para que sustituir el modelo y volver atrás lleve minutos;
  • etiquete el conjunto de prueba de forma independiente del de entrenamiento; de lo contrario, solo mide la coincidencia con su propio pipeline;
  • vigile los efectos secundarios: ganar precisión en términos puede costar palabras omitidas y puntuación estropeada.

Para vocabulario de dominio estrecho, como los términos de IT, reentrenar un modelo ya hecho parece más sensato que intentar resolver el problema con diccionarios.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué fallaba exactamente?

El modelo base entendía bien el habla rusa corriente, pero fallaba con tres grupos de palabras: nombres ingleses (Docker, Kubernetes), anglicismos ya asentados como «дашборд» (dashboard) y la abreviatura «ИИ» (IA). A veces desaparecían palabras enteras. La frase «Мой ИИ редко ошибается» (mi IA se equivoca pocas veces) el modelo la transcribió como «Мои редко ошибается» (frase sin sentido). Un simple diccionario de sustituciones ayuda solo en parte.

Cómo se reentrenó y qué resultó?

GigaAM es una familia de modelos de reconocimiento de voz con arquitectura Conformer. El equipo usa la variante con cabeza RNNT, que devuelve directamente texto con mayúsculas y puntuación. En el servidor, el codificador funciona en FP16 y la cabeza RNNT en FP32. Silero VAD corta las grabaciones largas por las pausas y los segmentos cortos se reconocen por lotes. La decodificación es voraz (greedy), sin modelo de lenguaje externo, y el hardware es una tarjeta gráfica RTX A2000 de 12 GB.

¿Qué se sabe sobre La lección del primer intento fallido?

Al principio, el equipo tomó la variante CTC de GigaAM y reunió 4,4 horas de datos: unas 1100 frases sintéticas con términos de IT y aproximadamente otras tantas grabaciones de las partes rusa e inglesa del dataset FLEURS. Congelaron las 12 capas inferiores del codificador y entrenaron las cuatro superiores y la cabeza CTC. En un banco de 12 frases sintéticas, la proporción de términos correctos saltó del 6% al 86%.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…