Whisper y Gemma 3 se conectan con aprendizaje contrastivo para dar entrada de voz barata a los LLM

Añadir entrada de voz a un LLM de forma económica resultó menos sencillo de lo que sugieren muchos trabajos sobre multimodalidad. El autor del experimento intentó conectar el codificador de audio Whisper y el modelo de lenguaje Gemma 3 mediante un proyector compacto y, tras una serie de fracasos, llegó a una configuración que funciona con aprendizaje contrastivo.

Cómo se montó la arquitectura

La idea era simple: en lugar de entrenar desde cero un sistema multimodal caro, tomar un codificador de audio y un LLM ya hechos y unirlos con un «traductor» entre espacios de embeddings. Como codificador eligieron Whisper Medium, porque sus representaciones internas están mejor adaptadas al reconocimiento de voz que las de las alternativas autosupervisadas. Del lado del texto usaron Gemma 3 4B, y el puente fue un proyector MLP de dos capas que comprimía los vectores de audio y los traducía al espacio de embeddings del LLM.

Para no entrenar el modelo solo con inglés limpio de estudio, el flujo de entrenamiento se armó con varios conjuntos de datos y se mezcló de forma dinámica. Así el sistema recibió desde el principio voz de distinta calidad, idioma y forma de pronunciar. El artículo subraya que esta mezcla no sirve para lograr mejores estadísticas, sino para que desde las primeras épocas el sistema no se acostumbre a un único entorno acústico ni a un único idioma. De lo contrario, cualquier desviación, ya fuera ruido, una pausa o un fragmento en ruso, rompería el reconocimiento.

• LibriSpeech train.360 como base del corpus
• LibriSpeech train.100 como inglés limpio adicional
• Russian LibriSpeech para voz en ruso
• DisfluencySpeech con pausas, lapsus y tartamudeos

Por qué todo fallaba

La primera apuesta fue la receta más obvia: teacher forcing y entropía cruzada normal sobre la transcripción. El LLM recibía una instrucción, los vectores de audio y el texto correcto, y la pérdida se calculaba solo sobre los tokens de la respuesta. En la práctica, el sistema casi no oía la grabación: el modelo producía fragmentos inconexos y el WER podía quedarse en torno al 300%. Incluso tras añadir LoRA quedó claro que el problema era más profundo: el proyector no llevaba la señal de audio adonde el modelo de lenguaje sabe leerla. Gemma conservaba un prior demasiado fuerte sobre la geometría habitual de los tokens de texto.

Siguió una serie de arreglos puntuales. El autor añadió una etapa cero en la que Gemma primero aprendía simplemente a reescribir texto según una instrucción, porque se usaba una versión sin ajuste por instrucciones. Después llegaron los experimentos con cuantización y regularizadores: una commitment loss debía mantener las salidas del proyector cerca de embeddings conocidos, SWD acercar las distribuciones de vectores de audio y de texto, una entropy loss obligar al sistema a usar más códigos, y VICReg evitar que colapsaran coordenadas individuales.

Las visualizaciones t-SNE ayudaron a ver los dos males principales: el colapso de las representaciones y la brecha geométrica entre los espacios de audio y de texto. Pero cada ajuste nuevo curaba solo un síntoma. SWD mejoraba la forma de la distribución sin mejorar el contenido. La entropy loss ampliaba el uso de códigos, pero al azar. VICReg aumentaba la varianza, aunque los vectores se dispersaban de forma caótica. Una y otra vez el sistema encontraba un atajo con el que las métricas parecían mejores a nivel local, sin que apareciera reconocimiento real. Esa fue la lección principal de la etapa de regularizaciones: con una señal principal débil, el modelo optimiza las matemáticas, no el significado.

Qué funcionó al final

El punto de inflexión fue abandonar la idea de que el alineamiento se puede lograr solo con penalizaciones indirectas. El autor hizo del aprendizaje contrastivo la señal principal y pasó a un InfoNCE simétrico: un vector de audio debe estar más cerca de su transcripción que de todos los demás textos del lote, y viceversa. A diferencia de los regularizadores anteriores, esta pérdida no fija estadísticas generales, sino relaciones concretas por pares.

Con un lote grande funcionó claramente mejor: la curva de pérdida bajó de forma pareja y sin saltos bruscos, y el WER descendió al 35%. Este resultado aún no alcanza el nivel de los sistemas ASR comerciales, pero ya no es ruido aleatorio. En los registros, el modelo empezó a equivocarse de forma fonéticamente verosímil: captaba el sonido de las palabras y se confundía más como una persona con mal oído que como un generador de texto roto. Para una primera pasada esto importa más que la cifra absoluta de WER: el sistema dejó de imitar una respuesta y empezó a usar realmente el sonido. El autor lo considera la señal principal de progreso.

«Pero lo principal es que ya oye».

Qué significa

Este caso muestra que una modalidad de audio barata para LLM locales es posible, pero no con el proyector MLP «mágico» de los papers. La combinación simple de un codificador ya hecho y un LLM solo empieza a funcionar cuando aparece entre ellos una señal de alineamiento fuerte. Para los desarrolladores es una conclusión importante: si se quiere añadir voz a un modelo propio sin un costoso entrenamiento desde cero, la etapa contrastiva puede ser no una opción, sino una base obligatoria.