Kriptonit enseñó a GigaAM a entender habla mezclada en ruso e inglés: el WER baja un 13,6 %

Una escena familiar: en una videollamada alguien dice «vamos a mirar el pull request y hacer el deploy antes de que acabe el día» (en ruso, con las palabras inglesas intercaladas). Una persona no nota nada raro. Un sistema de reconocimiento de voz sí: unos modelos convierten las palabras inglesas en una maraña de letras latinas, otros eligen palabras rusas de sonido parecido y otros descartan en silencio el fragmento que no entienden. La razón es que el ASR suele determinar el idioma por las primeras intervenciones y luego se aferra a él.

En este problema trabajó el laboratorio de IA de Kriptonit. Idearon una receta de reentrenamiento que añade al modelo soporte de code-switch, es decir, de cambio de idioma en plena conversación. La receta sirve para Whisper, GigaAM y otros modelos de ASR.

Qué se hizo exactamente

Como base tomaron GigaAM Multilingual, de Sber. La licencia MIT permite modificar el modelo y usarlo en productos comerciales, así que el resultado se puede llevar a producción sin quebraderos de cabeza legales.

La principal dificultad es que casi no hay datasets listos en los que el habla rusa e inglesa se mezclen dentro de una misma frase. Por eso el equipo reunió los datos por su cuenta, unas 10 000 horas de audio. Usaron dos técnicas:

• unión de fragmentos en dos idiomas a partir de grabaciones monolingües reales (YODAS, Sova y otros corpus);
• síntesis TTS de frases con traducción parcial, donde una parte de la frase se locuta en ruso y otra en inglés.

Por separado incorporaron KenLM, una biblioteca abierta para modelos de lenguaje de n-gramas rápidos. Funciona en la etapa de decodificación: el modelo acústico dice a qué se parece el sonido, y el modelo de lenguaje evalúa cuán verosímil es la secuencia de palabras. Según los autores, KenLM redujo la tasa de errores cuando se mezclan alfabetos dentro de una misma palabra. Un bug conocido: la palabra rusa «deploy» se convierte en algo con letras latinas metidas dentro de la palabra cirílica.

Resultados

En los benchmarks con cambio de idioma, el WER bajó de media un 13,6 %. El WER indica la proporción de palabras mal reconocidas, así que el modelo se equivoca claramente menos con habla mezclada. También hubo un control con habla monolingüe: los autores comprobaron que la calidad no cae tras el reentrenamiento.

Hay también conclusiones intermedias. Incluso los corpus monolingües corrientes mejoran la calidad al reentrenar un modelo abierto. Los datos sintéticos con habla monolingüe también reducen el WER, pero no alcanzan el óptimo. Hace falta justo una mezcla de idiomas dentro de las frases y un modelo de lenguaje en la decodificación.

Qué hacer con esto

Si construyes transcripción de reuniones, análisis de llamadas de soporte o entrada de voz para una audiencia internacional, puedes extraer varias cosas de este trabajo:

• Crea tu propio conjunto de prueba de code-switch con tus grabaciones. Los benchmarks generales no mostrarán cómo se comporta el modelo con tu jerga.
• Los datos sintéticos se pueden generar barato: unión de fragmentos reales y TTS con traducción parcial. Es una vía eficaz para obtener datos donde no los hay.
• Ejecuta siempre regresión sobre habla monolingüe. El reentrenamiento para idiomas mezclados no debe romper lo que ya funcionaba.
• Plantéate un modelo de lenguaje de n-gramas en la decodificación. KenLM es barato y elimina parte de los híbridos de palabras absurdos.

Limitaciones

El experimento se realizó solo con el par ruso-inglés. Los autores afirman que la receta es universal, pero con otros idiomas aún no se ha comprobado. La cifra del 13,6 % es un promedio de los benchmarks CS; el material no incluye valores absolutos de WER ni desglose por conjuntos, así que tendrás que comparar con tu caso por tu cuenta. Además, el proceso no es rápido: en un clúster de cuatro NVIDIA L40S con 48 GB de memoria cada una, el reentrenamiento tarda de una a tres semanas, según el volumen de datos.

A continuación, el equipo quiere abordar la Language Diarization, es decir, dividir automáticamente la grabación en fragmentos por idioma y enrutarlos sin reentrenar el ASR. También planean un modelo multilingüe basado en Whisper V3 Large. Si esos planes salen bien, el enfoque será notablemente más fácil de implantar. Por ahora, es una buena receta práctica para quienes tienen audio en el que el inglés aparece con regularidad en mitad de una frase en ruso.