Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Whisper entiende mejor que GigaAM 454 términos de TI, aunque GigaAM falla menos en palabras

Las tareas de voz para agentes de IA fallan con los términos técnicos: «nash prod» (nuestro prod) se convierte en «na shprot» (en sprats), y el agente busca el código equivocado. El autor comparó los modelos de reconocimiento de voz GigaAM, T-one y Whisper con 1000 grabaciones (20,3 horas) que contienen 454 términos. GigaAM tiene menor WER, es decir, menor proporción de palabras erróneas, pero Whisper transcribe con más precisión los términos de TI. Por eso conviene medir los términos por separado, con grabaciones propias.

Procesado por IA desde Habr AI; editado por Hamidun News
Whisper entiende mejor que GigaAM 454 términos de TI, aunque GigaAM falla menos en palabras
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Prueba en CPU7 hablantes, 18 mil formas de palabra, de ellas 454 términos
Dato clave #2Un WER idéntico oculta «tmux»→«Teams» y la pérdida de «no lances» (ne zapuskai)
Dato clave #3GigaAM y T-one son rápidos en CPU; Whisper sin GPU es notablemente más lento

Imagine que dicta una tarea a un agente de IA, dice «nash prod» (nuestro prod) y el sistema de reconocimiento de voz (ASR) escribe «na shprot» (en sprats, un tipo de conserva de pescado). El agente se pondrá a buscar algo sobre conservas, gastará tokens y puede hacer un commit equivocado. El autor de una «fábrica oscura de software», donde lleva a cabo por voz la mayor parte del desarrollo, quiso comprobar qué modelos de reconocimiento manejan mejor el habla técnica: la rusa GigaAM, T-one y OpenAI Whisper.

El resultado es inesperado. Por WER (word error rate, la proporción de palabras que hay que sustituir, eliminar o insertar para obtener el texto de referencia) gana GigaAM. Sin embargo, los términos de TI los transcribe con más precisión Whisper.

Cómo se hizo la medición

El conjunto de prueba reúne 1000 grabaciones de voz con una duración total de 20,3 horas y 7 hablantes. La mayor parte de las grabaciones son del propio autor, pero añadió podcasts técnicos de fuentes abiertas para que el benchmark no quedara «personalizado». El habla es la habitual de un desarrollador: ruso coloquial mezclado con anglicismos, muletillas y palabrotas.

De unas 18 mil formas de palabra únicas, el autor seleccionó 454 términos y marcó cada uno en el audio. Todos los modelos funcionaron solo en CPU (AMD Ryzen 5 3600, unos 63 GB de memoria), sin tarjeta gráfica. Se hizo una sola ejecución y la calidad se calculó contra el etiquetado de referencia.

Se usaron varias métricas. WER y CER muestran la proporción de errores por palabras y por caracteres; cuanto menor, mejor. Para los términos se contó la coincidencia exacta con la grafía correcta y una variante más laxa en la que «backend» y «bekend» (su transcripción en cirílico) se aceptan ambos. Esto importa porque algunos modelos escriben solo en cirílico y no devuelven el nombre en inglés aunque lo hayan oído bien. También se midió el RTF: el tiempo de reconocimiento dividido por la duración del audio.

Qué resultó

En velocidad sobre CPU, GigaAM y T-one van claramente por delante, mientras que Whisper sin acelerador es lento. Pero para una fábrica cuyas tareas no exigen respuesta en segundos, el autor considera el RTF un dato de referencia, no un criterio de elección.

En WER global ganó GigaAM, y para el ruso es un modelo sólido. En los términos pierde claramente frente a Whisper. Hay, pues, una bifurcación: un modelo escribe con precisión el texto corriente y el otro transmite mejor los nombres de servicios, protocolos y bibliotecas. El post no incluye la tabla con las cifras, por lo que aquí no damos las diferencias exactas.

Por qué el WER engaña

En el WER cada operación cuenta como uno, de modo que dos transcripciones pueden tener el mismo porcentaje de errores y consecuencias distintas. La frase «abre la sesión tmuks» (tmux escrito en cirílico), «abre la sesión Teams» y la pérdida del «no» en «no lances automáticamente» arrojan la misma cifra. El primer error es inofensivo, mientras que el último puede ejecutar un comando que nadie pidió ejecutar.

Además, en grabaciones largas un término corto y crítico se diluye en el denominador común. El WER no ignora las palabras cortas; simplemente, su aporte a la cifra final es pequeño.

El autor divide los errores en dos grupos. Tolerables: «dashbord» (dashboard en cirílico), «dashboard», «dashik». Al buscar en el código, el agente puede dar pasos de más y aun así llegar al objetivo. Peligrosos: cuando suena una palabra verosímil pero ajena. «Precision» se convirtió en «presidzhen» (precision en cirílico), y a partir de ahí la intención aún se puede reconstruir. Pero «recall» convertido en «prikol» (algo como «chiste» o «guasa») ya no: «prikol» no despierta sospechas y tiene varios significados. Peor aún es «nash prod» en «na shprot».

De dónde salen estos errores

El modelo no recibe letras, sino un espectrograma log-mel, es decir, un mapa de cómo cambió el sonido. No hay espacios en él, y los límites entre palabras hay que adivinarlos. La «d» final de «prod» se ensordece hasta «t», el habla rápida pega las palabras y, además, al lado zumba la cafetera.

Los métodos de construcción del texto también difieren. GigaAM CTC y T-one usan CTC: en cada paso el modelo evalúa las etiquetas de forma independiente, incluida la etiqueta especial blank («no emitir nada»), y después los repetidos se colapsan. Si la letra necesaria no está en el camino elegido, el colapso no la recupera. En GigaAM RNNT la siguiente etiqueta depende también de las ya emitidas. Whisper escribe token a token según un vocabulario BPE: « backend» ocupa un token, «bekend» en cirílico, cuatro. Pero más tokens no significa más errores: «recall» ocupa un token y «prikol», dos.

Beam search conserva varias hipótesis, pero no hace al modelo más listo. Si una cadena errónea le resulta más probable que la correcta, ampliar el ancho del haz no la corregirá. Al final sale de todos modos una sola cadena, sin información sobre qué variantes se descartaron.

Qué hacer al respecto

Para quienes construyen interfaces de voz para agentes, la conclusión es sencilla: no elija el ASR solo por WER. Reúna su propia lista de términos, márquelos en el audio y mídalos por separado, incluida la grafía exacta. El autor ya probó un posprocesamiento sin modificar los modelos, pero los detalles no aparecen en el fragmento disponible del post.

También conviene recordar las limitaciones: una sola ejecución, la mayor parte de la voz pertenece a una sola persona y este benchmark no midió directamente la fidelidad en la transmisión de la intención. Aun así, como plantilla para una medición propia, el ejemplo es bueno.

Historia

Preguntas frecuentes sobre la noticia

Cómo se hizo la medición?

El conjunto de prueba reúne 1000 grabaciones de voz con una duración total de 20,3 horas y 7 hablantes. La mayor parte de las grabaciones son del propio autor, pero añadió podcasts técnicos de fuentes abiertas para que el benchmark no quedara «personalizado». El habla es la habitual de un desarrollador: ruso coloquial mezclado con anglicismos, muletillas y palabrotas. De unas 18 mil formas de palabra únicas, el autor seleccionó 454 términos y marcó cada uno en el audio.

¿Qué se sabe sobre Qué resultó?

En velocidad sobre CPU, GigaAM y T-one van claramente por delante, mientras que Whisper sin acelerador es lento. Pero para una fábrica cuyas tareas no exigen respuesta en segundos, el autor considera el RTF un dato de referencia, no un criterio de elección. En WER global ganó GigaAM, y para el ruso es un modelo sólido. En los términos pierde claramente frente a Whisper.

¿Qué se sabe sobre Por qué el WER engaña?

En el WER cada operación cuenta como uno, de modo que dos transcripciones pueden tener el mismo porcentaje de errores y consecuencias distintas. La frase «abre la sesión tmuks» (tmux escrito en cirílico), «abre la sesión Teams» y la pérdida del «no» en «no lances automáticamente» arrojan la misma cifra. El primer error es inofensivo, mientras que el último puede ejecutar un comando que nadie pidió ejecutar. Además, en grabaciones largas un término corto y crítico se diluye en el denominador común.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…