Científicos de la NTU enseñan a un modelo de IA a saltarse el video: 59% menos tokens

Por qué el video es un lujo caro y no siempre necesario

Investigadores del College of Computing and Data Science de la Universidad Tecnológica de Nanyang (Singapur) han resuelto un problema que impide que los "modelos omni" —sistemas de IA capaces de procesar texto, audio, imágenes y video simultáneamente— funcionen de forma rápida y económica. Modelos como Qwen2.5-Omni y Qwen3-Omni logran resultados sólidos precisamente porque combinan datos de múltiples fuentes en una sola comprensión de la situación. Pero ese poder tiene un precio: procesar video es mucho más costoso que procesar texto y audio, y en la práctica, el video a menudo no es necesario para dar la respuesta correcta.

En el benchmark WorldSense (pruebas de comprensión de eventos a partir de audio y video simultáneos), los autores midieron que una consulta de texto y audio ocupa en promedio unos 3.000 tokens de entrada, mientras que añadirle video a esa misma consulta la eleva a casi 40.000 tokens, más de 13 veces más. Sin embargo, en algunas preguntas el video es realmente crucial (por ejemplo, "¿de qué color es la puerta?" no se puede resolver sin la imagen), mientras que en otras simplemente estorba. En uno de los ejemplos citados en el estudio, el modelo Qwen2.5-Omni respondía correctamente usando solo audio, pero se equivocaba al añadir video a la consulta: la modalidad adicional desviaba al modelo del camino correcto.

Cómo funciona la selección de modalidades para cada consulta

En lugar de reentrenar el propio modelo omni o comprimir los tokens de video, los autores proponen colocar un "enrutador" ligero delante del modelo. Este observa únicamente el texto de la pregunta —mediante embeddings del modelo BGE-M3— y, antes de ejecutar el modelo principal, decide si basta con texto y audio (TA) o si también hay que incorporar el video (TAV).

El enrutador no se entrena como un clasificador estándar, sino con una tarea sensible al costo del error: para cada ejemplo de entrenamiento se calcula qué opción (TA o TAV) ofrecería el mejor equilibrio entre precisión y costo, y esa opción se convierte en la respuesta correcta para el enrutador. Además, las consultas donde una elección errónea de modalidad resulta especialmente costosa —ya sea porque perjudica mucho la precisión o porque encarece considerablemente la inferencia— reciben un peso mayor durante el entrenamiento. Así, el enrutador aprende a determinar cuándo se necesita el video precisamente a partir de los ejemplos donde eso importa más.

Resultados en la práctica

La prueba se realizó en el benchmark WorldSense con dos modelos —Qwen2.5-Omni-7B y Qwen3-Omni—, y el costo de cada consulta se midió de tres formas: número de tokens de entrada, latencia de respuesta y costo en dinero (según los precios por token de cada modalidad).

• Para Qwen2.5-Omni, el enrutador "sensible al costo" propuesto alcanzó una precisión comparable al modo "usar siempre todas las modalidades" (TAV), pero gastó solo alrededor del 41% de los tokens de entrada, el 39% del tiempo de respuesta y el 61% del costo monetario respecto al modo completo.
• Esto se traduce en un ahorro de casi el 59% en tokens, el 61% en tiempo y el 39% en dinero, manteniendo la precisión original.
• Los autores compararon su método con varias alternativas: selección aleatoria de modalidad, un "juez" basado en Gemini 2.5 Pro que decide a partir del texto de la pregunta si se necesita video, y esquemas en cascada, donde el modelo primero responde con texto y audio y, si la confianza en la respuesta es baja, incorpora también el video. En las tres métricas de costo, el clasificador sensible al costo propuesto ofreció una mejor relación precisión/costo que todas las alternativas mencionadas.
• El método Estimate-Then-Predict (predicción de la calidad y el costo de cada configuración de modalidades mediante modelos independientes) también superó a los esquemas en cascada, pero quedó por detrás del enfoque principal propuesto.

Qué significa esto para los ingenieros

La conclusión práctica es clara: si estás construyendo un producto sobre modelos omni —análisis de video, moderación de contenido, asistentes con cámara—, no es necesario incluir el video en cada consulta por defecto. Basta con un clasificador simple y económico basado en el texto de la consulta para saber cuándo realmente se necesita el video, lo que puede ahorrar más de la mitad del presupuesto de inferencia sin perder calidad en las respuestas. Este enfoque resulta especialmente valioso para servicios con alta demanda, donde cada token y milisegundo de más repercute directamente en la factura de inferencia.