Whisper entiende mejor que GigaAM 454 términos de TI, aunque GigaAM falla menos en palabras
Las tareas de voz para agentes de IA fallan con los términos técnicos: «nash prod» (nuestro prod) se convierte en «na shprot» (en sprats), y el agente busca el código equivocado. El autor comparó los modelos de reconocimiento de voz GigaAM, T-one y Whisper con 1000 grabaciones (20,3 horas) que contienen 454 términos. GigaAM tiene menor WER, es decir, menor proporción de palabras erróneas, pero Whisper transcribe con más precisión los términos de TI. Por eso conviene medir los términos por separado, con grabaciones propias.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine que dicta una tarea a un agente de IA, dice «nash prod» (nuestro prod) y el sistema de reconocimiento de voz (ASR) escribe «na shprot» (en sprats, un tipo de conserva de pescado). El agente se pondrá a buscar algo sobre conservas, gastará tokens y puede hacer un commit equivocado. El autor de una «fábrica oscura de software», donde lleva a cabo por voz la mayor parte del desarrollo, quiso comprobar qué modelos de reconocimiento manejan mejor el habla técnica: la rusa GigaAM, T-one y OpenAI Whisper.
El resultado es inesperado. Por WER (word error rate, la proporción de palabras que hay que sustituir, eliminar o insertar para obtener el texto de referencia) gana GigaAM. Sin embargo, los términos de TI los transcribe con más precisión Whisper.
Cómo se hizo la medición
El conjunto de prueba reúne 1000 grabaciones de voz con una duración total de 20,3 horas y 7 hablantes. La mayor parte de las grabaciones son del propio autor, pero añadió podcasts técnicos de fuentes abiertas para que el benchmark no quedara «personalizado». El habla es la habitual de un desarrollador: ruso coloquial mezclado con anglicismos, muletillas y palabrotas.
De unas 18 mil formas de palabra únicas, el autor seleccionó 454 términos y marcó cada uno en el audio. Todos los modelos funcionaron solo en CPU (AMD Ryzen 5 3600, unos 63 GB de memoria), sin tarjeta gráfica. Se hizo una sola ejecución y la calidad se calculó contra el etiquetado de referencia.
Se usaron varias métricas. WER y CER muestran la proporción de errores por palabras y por caracteres; cuanto menor, mejor. Para los términos se contó la coincidencia exacta con la grafía correcta y una variante más laxa en la que «backend» y «bekend» (su transcripción en cirílico) se aceptan ambos. Esto importa porque algunos modelos escriben solo en cirílico y no devuelven el nombre en inglés aunque lo hayan oído bien. También se midió el RTF: el tiempo de reconocimiento dividido por la duración del audio.
Qué resultó
En velocidad sobre CPU, GigaAM y T-one van claramente por delante, mientras que Whisper sin acelerador es lento. Pero para una fábrica cuyas tareas no exigen respuesta en segundos, el autor considera el RTF un dato de referencia, no un criterio de elección.
En WER global ganó GigaAM, y para el ruso es un modelo sólido. En los términos pierde claramente frente a Whisper. Hay, pues, una bifurcación: un modelo escribe con precisión el texto corriente y el otro transmite mejor los nombres de servicios, protocolos y bibliotecas. El post no incluye la tabla con las cifras, por lo que aquí no damos las diferencias exactas.
Por qué el WER engaña
En el WER cada operación cuenta como uno, de modo que dos transcripciones pueden tener el mismo porcentaje de errores y consecuencias distintas. La frase «abre la sesión tmuks» (tmux escrito en cirílico), «abre la sesión Teams» y la pérdida del «no» en «no lances automáticamente» arrojan la misma cifra. El primer error es inofensivo, mientras que el último puede ejecutar un comando que nadie pidió ejecutar.
Además, en grabaciones largas un término corto y crítico se diluye en el denominador común. El WER no ignora las palabras cortas; simplemente, su aporte a la cifra final es pequeño.
El autor divide los errores en dos grupos. Tolerables: «dashbord» (dashboard en cirílico), «dashboard», «dashik». Al buscar en el código, el agente puede dar pasos de más y aun así llegar al objetivo. Peligrosos: cuando suena una palabra verosímil pero ajena. «Precision» se convirtió en «presidzhen» (precision en cirílico), y a partir de ahí la intención aún se puede reconstruir. Pero «recall» convertido en «prikol» (algo como «chiste» o «guasa») ya no: «prikol» no despierta sospechas y tiene varios significados. Peor aún es «nash prod» en «na shprot».
De dónde salen estos errores
El modelo no recibe letras, sino un espectrograma log-mel, es decir, un mapa de cómo cambió el sonido. No hay espacios en él, y los límites entre palabras hay que adivinarlos. La «d» final de «prod» se ensordece hasta «t», el habla rápida pega las palabras y, además, al lado zumba la cafetera.
Los métodos de construcción del texto también difieren. GigaAM CTC y T-one usan CTC: en cada paso el modelo evalúa las etiquetas de forma independiente, incluida la etiqueta especial blank («no emitir nada»), y después los repetidos se colapsan. Si la letra necesaria no está en el camino elegido, el colapso no la recupera. En GigaAM RNNT la siguiente etiqueta depende también de las ya emitidas. Whisper escribe token a token según un vocabulario BPE: « backend» ocupa un token, «bekend» en cirílico, cuatro. Pero más tokens no significa más errores: «recall» ocupa un token y «prikol», dos.
Beam search conserva varias hipótesis, pero no hace al modelo más listo. Si una cadena errónea le resulta más probable que la correcta, ampliar el ancho del haz no la corregirá. Al final sale de todos modos una sola cadena, sin información sobre qué variantes se descartaron.
Qué hacer al respecto
Para quienes construyen interfaces de voz para agentes, la conclusión es sencilla: no elija el ASR solo por WER. Reúna su propia lista de términos, márquelos en el audio y mídalos por separado, incluida la grafía exacta. El autor ya probó un posprocesamiento sin modificar los modelos, pero los detalles no aparecen en el fragmento disponible del post.
También conviene recordar las limitaciones: una sola ejecución, la mayor parte de la voz pertenece a una sola persona y este benchmark no midió directamente la fidelidad en la transmisión de la intención. Aun así, como plantilla para una medición propia, el ejemplo es bueno.
- 21 nov 2026Las vacantes de FDE se multiplicaron por 4,6 en un año: qué hace un ingeniero en el cliente
- 21 nov 2026Capitana de un equipo de natación automatizó con ChatGPT tres tareas programadas y recortó la rutina varias veces
- 21 nov 2026GPT-6 Cyber encontró unos 35 fallos en iPhone, Mac y otros dispositivos de Apple
- 21 nov 202622 agentes de Claude pasaron seis semanas buscando respuestas sobre agujeros negros, y resolvieron dos problemas
Preguntas frecuentes sobre la noticia
Cómo se hizo la medición?
El conjunto de prueba reúne 1000 grabaciones de voz con una duración total de 20,3 horas y 7 hablantes. La mayor parte de las grabaciones son del propio autor, pero añadió podcasts técnicos de fuentes abiertas para que el benchmark no quedara «personalizado». El habla es la habitual de un desarrollador: ruso coloquial mezclado con anglicismos, muletillas y palabrotas. De unas 18 mil formas de palabra únicas, el autor seleccionó 454 términos y marcó cada uno en el audio.
¿Qué se sabe sobre Qué resultó?
En velocidad sobre CPU, GigaAM y T-one van claramente por delante, mientras que Whisper sin acelerador es lento. Pero para una fábrica cuyas tareas no exigen respuesta en segundos, el autor considera el RTF un dato de referencia, no un criterio de elección. En WER global ganó GigaAM, y para el ruso es un modelo sólido. En los términos pierde claramente frente a Whisper.
¿Qué se sabe sobre Por qué el WER engaña?
En el WER cada operación cuenta como uno, de modo que dos transcripciones pueden tener el mismo porcentaje de errores y consecuencias distintas. La frase «abre la sesión tmuks» (tmux escrito en cirílico), «abre la sesión Teams» y la pérdida del «no» en «no lances automáticamente» arrojan la misma cifra. El primer error es inofensivo, mientras que el último puede ejecutar un comando que nadie pidió ejecutar. Además, en grabaciones largas un término corto y crítico se diluye en el denominador común.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.