Apple ML Research propone modelos compactos para corregir errores de reconocimiento de voz

Investigadores de Apple ML Research proponen, en el artículo «Revisiting ASR Error Correction with Specialized Models», sustituir los voluminosos grandes modelos de lenguaje por modelos seq2seq compactos para corregir errores del reconocimiento automático del habla (ASR).

Por qué los LLM no son ideales para corregir errores de ASR

La mayoría de los métodos actuales de corrección de errores de ASR se apoyan en modelos de texto que no saben nada de los patrones de error propios del reconocimiento de voz. Últimamente se han empezado a usar grandes modelos de lenguaje para esta tarea, pero tienen dos inconvenientes serios: añaden latencia a la respuesta y tienden a alucinar, es decir, pueden «corregir» un texto de modo que deje de corresponder con lo que realmente se dijo en el audio.

Cómo funciona la solución propuesta

Los autores retomaron la idea de los modelos seq2seq compactos entrenados con errores de ASR de grabaciones de audio reales y sintéticas. Para ampliar el volumen de datos de entrenamiento, construyen corpus sintéticos mediante una cascada «síntesis de voz → reconocimiento de voz» (TTS y después de nuevo ASR): primero un sintetizador de voz lee el texto en voz alta y luego el audio resultante pasa por un reconocedor, que produce errores realistas para entrenar el modelo corrector.

• Método: modelos seq2seq compactos en lugar de grandes LLM para corregir errores de ASR
• Los datos de entrenamiento sintéticos se generan con una cascada TTS → ASR
• El factor clave de calidad es que la diversidad de errores coincida con la distribución real, no solo el volumen de datos
• Se propone un enfoque de decodificación aparte: correction-first decoding

La conclusión clave del estudio es que importa menos la cantidad de datos sintéticos que la precisión con que la distribución de los errores generados coincide con los errores reales del reconocimiento de voz. Los autores proponen además una estrategia de decodificación propia, correction-first decoding, en la que la etapa de corrección de errores se traslada al inicio del proceso.

Qué significa

El trabajo refleja un movimiento a contracorriente en la industria de las interfaces de voz: en lugar de resolver los errores de ASR conectando LLM cada vez más grandes, Apple explora modelos compactos muy especializados, más baratos en inferencia y menos propensos a alucinar, algo crítico para asistentes de voz que funcionan en tiempo real en dispositivos con recursos limitados.