Un autor de Habr limpia las muletillas de su dictado («ну», «вот») con Whisper local y un LLM

Un escritor que teclea al día decenas de mensajes, correos y tareas para redes neuronales ha pasado al dictado: hablar es más rápido que escribir. Pero el método tiene un coste. Whisper puede transcribir una frase sin un solo error y, aun así, el resultado se lee mal, porque el habla espontánea escrita palabra por palabra está llena de «ну», «вот», repeticiones y frases cortadas. El autor de la publicación en Habr resuelve el problema con una combinación de Whisper, ejecutado en su propio ordenador, y un pequeño intermediario que envía la transcripción a un modelo de lenguaje para que la edite.

Una salvedad importante: en el fragmento disponible del material solo se describe el planteamiento del problema. La implementación concreta del intermediario, la elección del modelo y los prompts quedan tras el corte, y no los reproducimos aquí. A continuación, lo que se desprende de la arquitectura declarada y algunas consideraciones generales sobre cómo funcionan estos esquemas en la práctica.

Precisión de reconocimiento y legibilidad del texto son métricas distintas

Whisper es un modelo abierto de reconocimiento de voz de OpenAI, publicado en septiembre de 2022 con licencia MIT. Se entrenó con unas 680 mil horas de audio etiquetado y admite cerca de un centenar de idiomas, entre ellos el ruso. La métrica de un modelo así es el porcentaje de palabras mal reconocidas. Si Whisper registró todo lo que se dijo, no hay errores.

El problema es que la gente no habla como escribe. En el habla hay muletillas, autocorrecciones («el miércoles, es decir, no, el jueves») y construcciones inacabadas. La transcripción literal lo conserva todo fielmente. Para un correo, una tarea a una red neuronal o un capítulo de un libro, ese texto hay que corregirlo a mano, y parte de la ventaja del dictado se pierde.

Para qué sirve el intermediario

El esquema del titular funciona así: la voz se convierte en texto en local; después, un pequeño programa intermediario se lo pasa a un LLM con la instrucción de quitar lo sobrante y devolver una versión limpia. El reconocimiento y la edición van separados, y cada paso tiene su propia tarea.

Lo que se sabe del sistema por la parte disponible de la publicación:

• el reconocimiento lo hace Whisper, ejecutado en el ordenador del autor;
• entre el reconocimiento y el modelo de lenguaje hay un pequeño intermediario;
• la tarea del LLM: eliminar los «ну», «вот» y demás ruido, conservando el sentido;
• escenario de uso: mensajes, correos y tareas para redes neuronales;
• con el dictado, el autor escribe la mayor parte de su texto diario.

Dónde fallan estos esquemas

El principal riesgo de este tipo de posprocesado es que el modelo de lenguaje empiece a editar en lugar de limpiar. Puede suavizar la entonación del autor, sustituir una palabra por otra más «correcta» o añadir algo que no se dijo. Para un escritor es un problema grave: el estilo vive precisamente en esos detalles. Por eso la instrucción al modelo debe prohibir de forma explícita añadir datos y parafrasear, y conviene guardar la transcripción original junto a la versión limpia.

La segunda cuestión es la privacidad. Un Whisper local significa que el audio no sale a la nube. Pero si el intermediario recurre a un LLM externo, lo que sale es el texto, y en él pueden aparecer nombres, detalles de trabajo y borradores de libros. El esquema solo es totalmente autónomo con un modelo de lenguaje local.

Qué probar por tu cuenta

Si quieres repetir el planteamiento, empieza por comprobar el reconocimiento. Para ejecutarlo en un ordenador corriente existen whisper.cpp, que funciona también en CPU, y faster-whisper, basado en CTranslate2. El tamaño del modelo se elige según el hardware: las versiones más pequeñas son más rápidas, pero se equivocan más en ruso.

Después, monta un intermediario mínimo: recibe el texto, añade una instrucción breve, lo envía al LLM y devuelve el resultado. Empieza con una sola regla: «elimina las muletillas y las repeticiones, no añadas nada y no cambies las formulaciones». Pasa una decena de tus dictados reales y compara el resultado con el original línea por línea. Solo después amplía el prompt: puntuación, párrafos, formato para correo o chat. La implementación completa del autor conviene consultarla en el artículo original de Habr.