Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaAnálisis · En radarMIT News→ original

La IA de audio saca buenas notas en los tests incluso con ruido aleatorio, según MIT e IBM

Los modelos de audio, en los tests de opción múltiple, a menudo no escuchan la grabación: adivinan la respuesta a partir del texto. El equipo de MIT e IBM pone un ejemplo: ante la pregunta de qué animal ruge, con las opciones "ardilla, león, caimán, herrerillo", el modelo simplemente elige "león". Si en lugar de la grabación se le da ruido aleatorio, sus puntuaciones siguen siendo buenas. Por eso, en los tests de modelos de audio conviene añadir ruido y silencio: si la puntuación no baja, el test no mide la capacidad de escuchar.

Procesado por IA desde MIT News; editado por Hamidun News
La IA de audio saca buenas notas en los tests incluso con ruido aleatorio, según MIT e IBM
Fuente: MIT News. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalMIT News ↗
Editor jefe
Dato clave #1IPLoc sustituye la palabra "avión" por el nombre "Elizabeth" para que el modelo mire la imagen
Dato clave #2El proyecto MIT-IBM lleva muchos años en marcha: el equipo ha publicado unos dos docenas de artículos
Dato clave #3A continuación, el equipo abordará los modelos que escuchan mientras ellos mismos hablan

Imagine que elige un modelo de audio para un producto de voz y mira sus resultados en los benchmarks. La puntuación es alta, así que el modelo entiende bien el sonido, ¿no? No necesariamente. El equipo MIT-IBM Computing Research Lab, dirigido por Jim Glass, científico senior del laboratorio CSAIL del MIT, descubrió que muchos modelos de audio, en los tests de opción múltiple, directamente no escuchan la grabación. Adivinan la respuesta correcta a partir del texto de la pregunta. Si en lugar del sonido se les da ruido aleatorio, los resultados siguen siendo buenos.

Un modelo que "escucha" sin oír

Hablamos de modelos capaces de percibir audio y razonar sobre él. Evaluarlos suele ser sencillo: se hace una pregunta y se ofrecen varias opciones de respuesta. Es más barato que valorar respuestas libres. Estas tendrían que revisarlas personas, lo que es caro y lento, o bien otro modelo de lenguaje como juez, que también tiene sus debilidades.

Glass pone un ejemplo muy claro. Pregunta: ¿qué animal ruge en la grabación? Opciones: ardilla, león, caimán, herrerillo. El modelo no presta atención al sonido: ve la palabra "león" entre las opciones y la elige. Los investigadores lo comprobaron dando ruido aleatorio en lugar de la grabación. Los modelos seguían funcionando bastante bien, lo que indica que se apoyaban en el texto de la pregunta.

En el trabajo OmniR1, el equipo propuso formas de que el modelo preste más atención al audio y dependa menos de las pistas que aporta la pregunta. La conclusión práctica para quienes evalúan modelos de audio: añadan a la prueba casos de control con ruido o silencio. Si la puntuación apenas baja, su test no mide lo que debería. También conviene comparar el modelo en distintos tipos de benchmark, no en uno solo.

El mismo problema con las imágenes

La lógica es parecida en el trabajo con imágenes. La investigación IPLoc mostró que incluso modelos actuales como GPT-4o encuentran mal un objeto concreto en una imagen cuando solo tienen unos pocos ejemplos. Los autores idearon un entrenamiento con sustitución de nombres: por ejemplo, la palabra "avión" se reemplazaba por el nombre "Elizabeth". Así, el modelo no puede apoyarse en lo que ya sabe sobre los aviones y se ve obligado a mirar con más atención el contexto visual.

Hay además otra idea: a veces el modelo ya tiene la representación interna necesaria, pero se pierde tras el ajuste fino posterior. Por eso parte del trabajo consiste en "recuperar" esas capacidades sin necesidad de nuevo etiquetado.

Cómo trabajar sin un presupuesto enorme

El equipo reconoce que no tiene recursos para entrenar un modelo fundacional gigante propio. Por ello, los investigadores toman modelos abiertos y los adaptan con métodos de supervisión débil, que requieren menos datos etiquetados. Un ejemplo es el aprendizaje por refuerzo en tiempo de inferencia (test-time reinforcement learning). El proyecto no tiene un enfoque único: según Glass, "hay mil flores que florecen". En el trabajo participaron también Rogerio Feris, Brian Kingsbury y Samuel Thomas, de IBM Research, y Hilde Kuehne, de la Universidad de Tubinga.

El proyecto empezó de forma sencilla: se mostraban a los modelos pares de "imagen y descripción sonora" y pares que no coincidían. Así, el modelo aprendió por sí solo a asociar el sonido de la palabra "faro" con la imagen de un faro, sin texto. Después se añadieron vídeo y sonido general: el modelo distinguía cómo suenan los loros, las guitarras eléctricas y las guitarras acústicas. Más tarde se incorporaron los grandes modelos de lenguaje. En estos años, el equipo ha publicado unos dos docenas de artículos conjuntos relevantes y difunde benchmarks abiertos.

Qué viene después y qué limitaciones hay

En el próximo año, el equipo centrará su atención en los sistemas conversacionales full-duplex. Son modelos que escuchan mientras hablan, como las personas, en lugar de esperar su turno. Glass cree que conversar con este tipo de IA de voz resultará más natural. Por ahora, los modelos abiertos de este tipo están por detrás de los grandes modelos de lenguaje: tienen las habilidades básicas de conversación, pero les falta comprensión del tiempo y profundidad de conocimiento.

Una salvedad importante: se trata de una entrevista, no de un artículo con tabla de resultados. En ella no aparecen cifras sobre cuánto cae la puntuación con ruido. Aun así, la advertencia merece tenerse en cuenta: un resultado alto de un modelo de audio en un test de elección múltiple no demuestra por sí solo que haya escuchado nada.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Un modelo que "escucha" sin oír?

Hablamos de modelos capaces de percibir audio y razonar sobre él. Evaluarlos suele ser sencillo: se hace una pregunta y se ofrecen varias opciones de respuesta. Es más barato que valorar respuestas libres. Estas tendrían que revisarlas personas, lo que es caro y lento, o bien otro modelo de lenguaje como juez, que también tiene sus debilidades. Glass pone un ejemplo muy claro. Pregunta: ¿qué animal ruge en la grabación? Opciones: ardilla, león, caimán, herrerillo.

¿Qué se sabe sobre El mismo problema con las imágenes?

La lógica es parecida en el trabajo con imágenes. La investigación IPLoc mostró que incluso modelos actuales como GPT-4o encuentran mal un objeto concreto en una imagen cuando solo tienen unos pocos ejemplos. Los autores idearon un entrenamiento con sustitución de nombres: por ejemplo, la palabra "avión" se reemplazaba por el nombre "Elizabeth". Así, el modelo no puede apoyarse en lo que ya sabe sobre los aviones y se ve obligado a mirar con más atención el contexto visual.

Cómo trabajar sin un presupuesto enorme?

El equipo reconoce que no tiene recursos para entrenar un modelo fundacional gigante propio. Por ello, los investigadores toman modelos abiertos y los adaptan con métodos de supervisión débil, que requieren menos datos etiquetados. Un ejemplo es el aprendizaje por refuerzo en tiempo de inferencia (test-time reinforcement learning). El proyecto no tiene un enfoque único: según Glass, "hay mil flores que florecen".

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…