Moonshot lanza WorldVQA: 3500 preguntas sobre el mundo en las que los modelos fallan

Kimi Team, de Moonshot AI, ha lanzado WorldVQA, un benchmark para comprobar el conocimiento visual del mundo en modelos de lenguaje multimodales. El conjunto contiene 3500 pares «imagen-pregunta», cada uno con una única respuesta verificable. La prueba plantea algo sencillo: si el modelo reconoce el objeto concreto de la foto o si completa la respuesta a partir de patrones visuales familiares. Según los autores, con conocimientos «de cola larga», es decir, poco frecuentes, incluso los modelos más avanzados suelen quedarse por debajo del 50% de precisión. El dataset y los scripts de evaluación son públicos, y se acompañan de un artículo en arXiv.

Qué contiene el dataset

Las preguntas están diseñadas para medir amplitud de conocimiento enciclopédico, no razonamiento sobre la imagen. Los autores descartaron las preguntas subjetivas y las escenas ambiguas. Todas las imágenes y los pares «pregunta-respuesta» pasaron por una verificación manual en varias fases.

Los ejemplos dan idea de la variedad: identificar una especie de ave (Chestnut Shortwing), una flor (fresia), un hito natural (el cabo de Buena Esperanza), el ballet «El lago de los cisnes», un personaje de videojuego, el anime «Tu nombre» o el logotipo de EgyptAir. También hay consultas que exigen la máxima precisión, como nombrar un gadget de consumo con su modelo exacto, hasta el iPhone 17 Pro. Una parte de las preguntas está formulada en chino: sobre un antiguo templo budista, una pieza de museo de la época de los Reinos Combatientes, el caza J-20 o un estadio de Shanghái.

Parámetros clave del conjunto:

• 3500 pares «imagen-pregunta»;
• 2240 preguntas en inglés (64%) y 1260 en chino (36%);
• 9 categorías, desde naturaleza y arquitectura hasta marcas, deporte y personalidades públicas;
• dificultad: 31,16% de preguntas fáciles, 40,77% medias y 28,07% difíciles;
• división en Head (conocimiento general) y Tail (conocimiento poco frecuente), para ver cómo cae la calidad a medida que el objeto es menos «popular».

Las categorías más grandes son «Lugares y arquitectura» (14,63%), «Entretenimiento y medios» (14,60%), «Cultura y arte» (14,46%) y «Personalidades públicas» (14,29%). La más pequeña es deporte, con un 4,06%.

El problema no es solo la precisión, sino también la autoevaluación

La segunda parte del estudio se centra en la calibración: en qué medida la confianza que declara el modelo coincide con su proporción real de aciertos. Para medirlo se usan dos métricas. ECE (Expected Calibration Error) indica la brecha media entre confianza y precisión; el valor ideal es 0. Slope (pendiente media ponderada) refleja hasta qué punto la precisión sigue a la confianza; el valor ideal es 1,0.

El resultado es el mismo en todos los modelos evaluados: una sobreconfianza sistemática. La mayoría de las predicciones se concentra en el rango de 90–100% de confianza declarada, aunque la precisión real es notablemente menor. Los mejores valores en ambas métricas corresponden al modelo de los propios autores, Kimi-K2.5: ECE de 37,9% y Slope de 0,550. Es el mejor resultado de la comparación, pero queda lejos del ideal: con una calibración sin error, el ECE se acercaría a cero y el Slope, a uno. Los propios autores reconocen que aún falta mucho para que un modelo sea «honesto» y esté en sintonía con los límites de su propio conocimiento.

Conclusiones prácticas

Para los equipos que integran modelos multimodales en sus productos, la conclusión principal tiene que ver con la confianza en las respuestas. Si el modelo identifica el modelo de un coche, una especie vegetal, un logotipo o una obra de arte, una confianza alta en la respuesta dice poco sobre su acierto. Esto importa sobre todo con objetos poco comunes: es ahí donde cae la precisión mientras la confianza sigue siendo alta.

Qué conviene hacer en la práctica:

• pasar por WorldVQA los modelos candidatos si el producto depende del reconocimiento de entidades concretas, y analizar Head y Tail por separado;
• no usar la autoevaluación del modelo como único filtro: en escenarios donde un error tiene coste, añadir una verificación externa o una búsqueda en una base de datos;
• en tareas en chino, tener en cuenta la proporción de preguntas en chino en la prueba (36%) en lugar de limitarse a métricas en inglés;
• fijarse en ECE y Slope con la misma atención que en la precisión bruta.

Los autores consideran que mejorar el resultado en WorldVQA es un paso necesario para la próxima generación de agentes de IA: un agente que identifica mal un objeto y, además, confía en su error, se equivoca justo cuando actúa por su cuenta. Los datos y scripts abiertos permiten que otros laboratorios comparen sus modelos en la misma escala.