La IA de audio saca buenas notas en los tests incluso con ruido aleatorio, según MIT e IBM
Los modelos de audio, en los tests de opción múltiple, a menudo no escuchan la grabación: adivinan la respuesta a partir del texto. El equipo de MIT e IBM pone un ejemplo: ante la pregunta de qué animal ruge, con las opciones "ardilla, león, caimán, herrerillo", el modelo simplemente elige "león". Si en lugar de la grabación se le da ruido aleatorio, sus puntuaciones siguen siendo buenas. Por eso, en los tests de modelos de audio conviene añadir ruido y silencio: si la puntuación no baja, el test no mide la capacidad de escuchar.
Procesado por IA desde MIT News; editado por Hamidun News
Imagine que elige un modelo de audio para un producto de voz y mira sus resultados en los benchmarks. La puntuación es alta, así que el modelo entiende bien el sonido, ¿no? No necesariamente. El equipo MIT-IBM Computing Research Lab, dirigido por Jim Glass, científico senior del laboratorio CSAIL del MIT, descubrió que muchos modelos de audio, en los tests de opción múltiple, directamente no escuchan la grabación. Adivinan la respuesta correcta a partir del texto de la pregunta. Si en lugar del sonido se les da ruido aleatorio, los resultados siguen siendo buenos.
Un modelo que "escucha" sin oír
Hablamos de modelos capaces de percibir audio y razonar sobre él. Evaluarlos suele ser sencillo: se hace una pregunta y se ofrecen varias opciones de respuesta. Es más barato que valorar respuestas libres. Estas tendrían que revisarlas personas, lo que es caro y lento, o bien otro modelo de lenguaje como juez, que también tiene sus debilidades.
Glass pone un ejemplo muy claro. Pregunta: ¿qué animal ruge en la grabación? Opciones: ardilla, león, caimán, herrerillo. El modelo no presta atención al sonido: ve la palabra "león" entre las opciones y la elige. Los investigadores lo comprobaron dando ruido aleatorio en lugar de la grabación. Los modelos seguían funcionando bastante bien, lo que indica que se apoyaban en el texto de la pregunta.
En el trabajo OmniR1, el equipo propuso formas de que el modelo preste más atención al audio y dependa menos de las pistas que aporta la pregunta. La conclusión práctica para quienes evalúan modelos de audio: añadan a la prueba casos de control con ruido o silencio. Si la puntuación apenas baja, su test no mide lo que debería. También conviene comparar el modelo en distintos tipos de benchmark, no en uno solo.
El mismo problema con las imágenes
La lógica es parecida en el trabajo con imágenes. La investigación IPLoc mostró que incluso modelos actuales como GPT-4o encuentran mal un objeto concreto en una imagen cuando solo tienen unos pocos ejemplos. Los autores idearon un entrenamiento con sustitución de nombres: por ejemplo, la palabra "avión" se reemplazaba por el nombre "Elizabeth". Así, el modelo no puede apoyarse en lo que ya sabe sobre los aviones y se ve obligado a mirar con más atención el contexto visual.
Hay además otra idea: a veces el modelo ya tiene la representación interna necesaria, pero se pierde tras el ajuste fino posterior. Por eso parte del trabajo consiste en "recuperar" esas capacidades sin necesidad de nuevo etiquetado.
Cómo trabajar sin un presupuesto enorme
El equipo reconoce que no tiene recursos para entrenar un modelo fundacional gigante propio. Por ello, los investigadores toman modelos abiertos y los adaptan con métodos de supervisión débil, que requieren menos datos etiquetados. Un ejemplo es el aprendizaje por refuerzo en tiempo de inferencia (test-time reinforcement learning). El proyecto no tiene un enfoque único: según Glass, "hay mil flores que florecen". En el trabajo participaron también Rogerio Feris, Brian Kingsbury y Samuel Thomas, de IBM Research, y Hilde Kuehne, de la Universidad de Tubinga.
El proyecto empezó de forma sencilla: se mostraban a los modelos pares de "imagen y descripción sonora" y pares que no coincidían. Así, el modelo aprendió por sí solo a asociar el sonido de la palabra "faro" con la imagen de un faro, sin texto. Después se añadieron vídeo y sonido general: el modelo distinguía cómo suenan los loros, las guitarras eléctricas y las guitarras acústicas. Más tarde se incorporaron los grandes modelos de lenguaje. En estos años, el equipo ha publicado unos dos docenas de artículos conjuntos relevantes y difunde benchmarks abiertos.
Qué viene después y qué limitaciones hay
En el próximo año, el equipo centrará su atención en los sistemas conversacionales full-duplex. Son modelos que escuchan mientras hablan, como las personas, en lugar de esperar su turno. Glass cree que conversar con este tipo de IA de voz resultará más natural. Por ahora, los modelos abiertos de este tipo están por detrás de los grandes modelos de lenguaje: tienen las habilidades básicas de conversación, pero les falta comprensión del tiempo y profundidad de conocimiento.
Una salvedad importante: se trata de una entrevista, no de un artículo con tabla de resultados. En ella no aparecen cifras sobre cuánto cae la puntuación con ruido. Aun así, la advertencia merece tenerse en cuenta: un resultado alto de un modelo de audio en un test de elección múltiple no demuestra por sí solo que haya escuchado nada.
- 21 nov 2026Nous Research reentrenó Qwen3.8 y la propaganda en sus respuestas bajó del 22% al 1%
- 21 nov 2026Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
- 21 nov 2026Microsoft permitirá a las empresas ajustar los modelos MAI con sus propios datos en Azure
- 21 nov 2026Los modelos de OpenAI mejoraron un chip de AMD hasta un 14% en energía, velocidad y área en cinco meses
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Un modelo que "escucha" sin oír?
Hablamos de modelos capaces de percibir audio y razonar sobre él. Evaluarlos suele ser sencillo: se hace una pregunta y se ofrecen varias opciones de respuesta. Es más barato que valorar respuestas libres. Estas tendrían que revisarlas personas, lo que es caro y lento, o bien otro modelo de lenguaje como juez, que también tiene sus debilidades. Glass pone un ejemplo muy claro. Pregunta: ¿qué animal ruge en la grabación? Opciones: ardilla, león, caimán, herrerillo.
¿Qué se sabe sobre El mismo problema con las imágenes?
La lógica es parecida en el trabajo con imágenes. La investigación IPLoc mostró que incluso modelos actuales como GPT-4o encuentran mal un objeto concreto en una imagen cuando solo tienen unos pocos ejemplos. Los autores idearon un entrenamiento con sustitución de nombres: por ejemplo, la palabra "avión" se reemplazaba por el nombre "Elizabeth". Así, el modelo no puede apoyarse en lo que ya sabe sobre los aviones y se ve obligado a mirar con más atención el contexto visual.
Cómo trabajar sin un presupuesto enorme?
El equipo reconoce que no tiene recursos para entrenar un modelo fundacional gigante propio. Por ello, los investigadores toman modelos abiertos y los adaptan con métodos de supervisión débil, que requieren menos datos etiquetados. Un ejemplo es el aprendizaje por refuerzo en tiempo de inferencia (test-time reinforcement learning). El proyecto no tiene un enfoque único: según Glass, "hay mil flores que florecen".
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.