SberDevices lanza GigaAM-v3 en código abierto: reconocimiento del habla en ruso mejor en al menos un 10%
SberDevices ha publicado el modelo de código abierto GigaAM-v3, que transcribe el habla en ruso con puntuación y cifras desde el primer momento. El nuevo preentrenamiento HuBERT-CTC usa un modelo de reconocimiento ya listo como maestro y logra una mejora de calidad de al menos un 10% frente a los métodos habituales. Los datos etiquetados se han duplicado, hasta 4000 horas, e incluyen grabaciones de centros de llamadas. Para los servicios de voz en ruso, es una base lista para usar.
Procesado por IA desde SberDevices; editado por Hamidun News
Si desarrollas un asistente de voz, transcribes llamadas o generas subtítulos para vídeos en ruso, no basta con un modelo que simplemente oiga las palabras. Necesitas un texto legible, con comas, signos de interrogación y cifras en lugar de «veinticinco por ciento». SberDevices ha presentado GigaAM-v3, una nueva versión de su familia abierta de modelos acústicos para el ruso, y ha puesto el foco precisamente en eso. La principal afirmación de los autores: el nuevo método de preentrenamiento HuBERT-CTC mejora la calidad en al menos un 10%, incluso frente a los métodos habituales en la industria.
Cómo se entrena el codificador: HuBERT-CTC
Los modelos modernos de reconocimiento de voz (ASR) se preentrenan primero con una enorme cantidad de audio sin etiquetar. La idea es parecida a BERT en texto: se oculta una parte del audio con una máscara y el modelo adivina qué había allí. En el HuBERT clásico, las «respuestas correctas» para adivinar se obtienen así: se toman las características del sonido, se agrupan con el método k-means y se obtiene un conjunto de tokens discretos, una especie de «alfabeto sonoro».
En SberDevices cambiaron el punto de partida. En lugar de un codificador universal, usaron un codificador que ya habían entrenado para reconocer voz con la función CTC. Sus representaciones internas transmiten mejor la fonética y el significado, de modo que el «alfabeto sonoro» se ajusta más a la tarea real. Después, todo sigue como en HuBERT: se ocultan fragmentos y el modelo aprende a reconstruir los tokens. Dicho de forma simple, el conocimiento del modelo ASR ya entrenado se transfiere al preentrenamiento, y para ello se utiliza una gran cantidad de audio sin etiquetar.
Qué mostraron los experimentos. En la prueba con el codificador congelado, la calidad del reconocimiento aumenta desde las capas inferiores hacia las superiores. En el método competidor BEST-RQ, la tasa mínima de error por palabra (WER) suele alcanzarse en las capas intermedias. El WER final tras el ajuste fino es inferior al de HuBERT puro, incluso cuando se usa todo el volumen etiquetado. Si hay pocos datos etiquetados —el 10%, el 1% o el 0,1% del conjunto completo—, la ventaja es todavía más notable.
Datos: más horas y más situaciones distintas
GigaAM-v2 se preentrenó con unas 50 000 horas de habla rusa; para v3, ese volumen se amplió. Los registros se limpian de forma sencilla: un detector de actividad de voz (VAD) corta los archivos largos en fragmentos de un minuto y descarta los que contienen demasiado silencio. Se probaron filtros más sofisticados, pero apenas influían en la calidad y requerían cálculos considerables, así que se optó por el VAD.
Los datos etiquetados aumentaron aproximadamente al doble —4000 horas— y son más variados:
- textos complejos, en los que fallaban otros modelos: 950 horas;
- habla coloquial espontánea: 450 horas;
- centros de llamadas y grabaciones telefónicas: 350 horas;
- habla con música de fondo: 110 horas;
- habla sintetizada: 100 horas;
- habla con particularidades: 50 horas.
En los conjuntos abiertos (Golos, Common Voice, Russian LibriSpeech), la calidad se mantuvo al nivel de v2. Los autores explican que ha crecido notablemente la proporción de dominios internos difíciles. Por eso muestran por separado los resultados en grabaciones de centros de llamadas y en habla con particularidades. Para un profesional, es una señal honesta: en los benchmarks «limpios», v3 no supera a v2, y la mejora hay que buscarla en condiciones difíciles.
Texto legible en lugar de transcripción técnica
Los conjuntos de datos habituales guardan las transcripciones en formato técnico: sin puntuación, y los números y símbolos como % o $ aparecen escritos con palabras. Para entrenar, esto resulta cómodo; para leer, no. Para obtener un corpus con texto normal, el equipo utilizó GigaChat Audio. Al modelo se le proporcionaban el audio, la transcripción original, una instrucción detallada y 10 ejemplos fijos. El audio es necesario para entender la pregunta a partir de la entonación y tratar bien las pausas.
Los modelos generativos alucinan, así que los resultados se filtraron:
- se comprobó que la longitud del texto apenas cambiara;
- se eliminaron los caracteres fuera del alfabeto definido, como los emoji;
- se quitaron el Markdown y las inserciones del tipo «(silencio)»;
- se verificó que el símbolo % apareciera solo donde el original decía «por ciento», y el $ solo donde decía «dólar»;
- se vigiló la divergencia en las métricas CER y WER.
La alternativa era el forced decoding: la puntuación se añade directamente durante la decodificación y el texto de referencia no cambia, de modo que el WER no puede empeorar. Sus inconvenientes son que se pierde flexibilidad en la normalización y que la puntuación resultante es peor que la obtenida etiquetando con un LLM. Los enfoques se compararon con datos internos, en los que la transcripción y los signos de puntuación fueron etiquetados por asesores.
Qué hacer con esto
GigaAM-v3 es un modelo abierto: puede ejecutarse en tu propia infraestructura sin enviar llamadas sensibles a API externas. Pero la lección va más allá del propio modelo. Si tienes transcripciones «en bruto», un LLM con acceso al audio y filtros estrictos puede convertirlas en datos de entrenamiento con puntuación. Y al elegir un ASR, no mires solo el WER en conjuntos abiertos, sino también tus propios dominios: llamadas con ruido, música y habla no estándar. Para la evaluación en varios dominios, los propios autores han añadido LLM-as-a-judge —una valoración hecha por otro modelo de lenguaje— junto al WER clásico, porque una simple proporción de palabras erróneas refleja mal la legibilidad de un texto con puntuación.
- 27 oct 2026Glas reentrena el reconocimiento de voz GigaAM-v3: los términos de IT salen bien en el 87% de los casos, frente al 44%
- 10 oct 2026El autor del dictado sin conexión con GigaAM publica Giga Pisar en Google Play y busca probadores
- 12 nov 2026Kriptonit enseñó a GigaAM a entender habla mezclada en ruso e inglés: el WER baja un 13,6 %
- 8 nov 2026Un protocolo de consulta con IA completa 50 campos en 35 segundos en Moscu, mientras las clinicas privadas guardan silencio
Preguntas frecuentes sobre la noticia
Cómo se entrena el codificador: HuBERT-CTC?
Los modelos modernos de reconocimiento de voz (ASR) se preentrenan primero con una enorme cantidad de audio sin etiquetar. La idea es parecida a BERT en texto: se oculta una parte del audio con una máscara y el modelo adivina qué había allí. En el HuBERT clásico, las «respuestas correctas» para adivinar se obtienen así: se toman las características del sonido, se agrupan con el método k-means y se obtiene un conjunto de tokens discretos, una especie de «alfabeto sonoro».
¿Qué se sabe sobre Datos: más horas y más situaciones distintas?
GigaAM-v2 se preentrenó con unas 50 000 horas de habla rusa; para v3, ese volumen se amplió. Los registros se limpian de forma sencilla: un detector de actividad de voz (VAD) corta los archivos largos en fragmentos de un minuto y descarta los que contienen demasiado silencio. Se probaron filtros más sofisticados, pero apenas influían en la calidad y requerían cálculos considerables, así que se optó por el VAD.
¿Qué se sabe sobre Texto legible en lugar de transcripción técnica?
Los conjuntos de datos habituales guardan las transcripciones en formato técnico: sin puntuación, y los números y símbolos como % o $ aparecen escritos con palabras. Para entrenar, esto resulta cómodo; para leer, no. Para obtener un corpus con texto normal, el equipo utilizó GigaChat Audio. Al modelo se le proporcionaban el audio, la transcripción original, una instrucción detallada y 10 ejemplos fijos. El audio es necesario para entender la pregunta a partir de la entonación y tratar bien las pausas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.