El benchmark EvaOmni evaluó 24 modelos omni: el líder alcanza un 79,4%, pero su grounding se queda en 35,1%

Los autores del benchmark EvaOmni proponen evaluar los modelos omni no por una única opción de respuesta elegida, sino por toda la cadena de razonamiento. El conjunto contiene 392 vídeos y 1027 pares «pregunta-respuesta» etiquetados manualmente por personas. El modelo debe devolver la respuesta y los intervalos temporales en los que se apoyó, tanto en el audio como en el vídeo. Se probaron 24 sistemas: 7 con pesos abiertos y 17 propietarios. El mejor resultado es el de Gemini3.7-Flash: una precisión del 79,4%, pero solo un 35,1% en la métrica Bottleneck Grounded Score.

Por qué el benchmark necesitaba pruebas

La mayoría de las pruebas de razonamiento audiovisual se basan en preguntas de opción múltiple. El modelo recibe un punto por la letra correcta, y nada más. Esa evaluación no permite saber si el modelo encontró el sonido y el fotograma adecuados o si acertó por cómo estaba formulada la pregunta. Los autores señalan un segundo problema: los atajos textuales y unimodales. Si la respuesta se puede obtener mirando solo la imagen o leyendo solo la pregunta, el benchmark no mide lo que dice medir.

Por eso EvaOmni incorpora un etiquetado en varias etapas. Primero, los expertos marcan las pruebas de audio y de imagen y construyen distractores a partir del propio vídeo. Después, personas verifican si cada pregunta cumple criterios estrictos. El último filtro lo aplican modelos, que descartan las preguntas que se pueden resolver con el texto o con una sola modalidad. Las preguntas abarcan 15 capacidades agrupadas en tres niveles: búsqueda y localización, comprensión básica y razonamiento complejo.

Cómo se calcula el grounding

Además de la respuesta, el modelo devuelve los intervalos de los fragmentos que la respaldan. Para evaluarlos, los autores introdujeron dos métricas. Coverage Grounded Score (C.G.) indica qué proporción de las pruebas marcadas por los expertos encontró el modelo. Bottleneck Grounded Score (B.G.) penaliza la mala localización temporal en cualquiera de las modalidades: un punto débil en el audio o en el vídeo arrastra la puntuación a la baja. Ambas métricas se consideran junto con la corrección de la respuesta.

Cifras clave del líder, Gemini3.7-Flash:

• precisión global: 79,4%;
• C.G.: 70,8%;
• B.G.: 35,1%;
• Level 3 (razonamiento complejo): precisión del 79,1%, B.G. de 12,3%.

En los tres indicadores globales, Gemini3.7-Flash quedó por delante de sus competidores, tanto abiertos como cerrados. Pero la brecha dentro de sus propios resultados es más llamativa que la distancia entre modelos. En las tareas difíciles acierta casi tan a menudo como en el conjunto medio, mientras que sus intervalos temporales coinciden con los de los expertos solo en una pequeña parte de los casos.

Esta brecha admite varias lecturas. El modelo puede entender la escena en su conjunto y, aun así, no saber indicar con exactitud en qué punto del flujo están los sonidos y fotogramas relevantes. También es posible que existan atajos residuales hacia la respuesta que el filtrado no detectó. El artículo ofrece cifras agregadas y, a partir de ellas, no se puede determinar cuál de las causas predomina. Los propios autores extraen una conclusión prudente: incluso los modelos omni más potentes aún tienen margen de mejora en el razonamiento audiovisual fundamentado. Conviene tener presente también la escala: 1027 preguntas son un conjunto compacto, y B.G. es, por construcción, una métrica muy estricta.

Qué cambiar en la evaluación y en los productos

Para los equipos que desarrollan productos con vídeo y sonido (análisis de videollamadas, estudio de grabaciones de cámaras, soporte mediante videoinstrucciones), la conclusión es práctica. La precisión en la elección de respuesta predice mal si se puede confiar en un modelo cuando hay que verificar su afirmación. Si la respuesta va a un informe, a un documento con valor jurídico o a la decisión de un operador, hay que exigir al modelo marcas de tiempo por separado para el habla y para la imagen, y contrastarlas al menos en una muestra.

Con datos propios se puede montar una versión reducida del mismo esquema: de 50 a 100 ejemplos etiquetados con intervalos, evaluación tanto de la respuesta como de la localización, y un cálculo aparte para la modalidad más débil. Una prueba así mostrará rápido dónde el modelo responde con seguridad pero no sabe indicar de dónde sacó la respuesta. Y en la interfaz conviene mostrar un enlace al fragmento, para que la persona verifique la conclusión en unos segundos en lugar de volver a ver todo el vídeo.