Kimi lanza PerceptionBench: ninguno de los 16 MLLM llega al 60%

El equipo de Kimi, de Moonshot AI, ha publicado PerceptionBench, un benchmark de 3000 preguntas verificadas que mide una sola cosa: qué ve realmente un modelo multimodal en una imagen. Entre los dieciséis MLLM de frontera evaluados, ninguno alcanzó el 60% de precisión. De media, el punto más débil de los modelos son las alucinaciones ligadas a la percepción. El dataset y el código de evaluación están abiertos en GitHub.

Una taxonomía construida a partir de fallos, no de teoría

Lo habitual es definir primero un conjunto de habilidades y escribir después las preguntas para evaluarlas. Los autores de PerceptionBench hicieron lo contrario. Tomaron los errores de modelos de frontera en 42 benchmarks existentes y localizaron, en cada uno, el paso erróneo más temprano. Primero estuvo el error y después la categoría. De ahí salieron las diez capacidades atómicas.

A continuación seleccionaron los fallos más reveladores y los descompusieron en subpreguntas sencillas. Parte de las preguntas se escribió desde cero sobre imágenes adicionales. El conjunto interno creció hasta más de 17 000 preguntas verificadas (17 000+). La versión publicada incluye 3000: el 60% procede de descomponer errores reales de los modelos y el 40% se redactó de nuevo. Las categorías se equilibraron por volumen y la dificultad se estratificó.

El requisito principal es que la respuesta se encuentre con la vista, sin razonamiento ni conocimiento externo. Ejemplos del anuncio: en qué marca de la esfera de un reloj está el símbolo de Gemini, cuántas macetas con plantas hay en el encuadre (los reflejos en el cristal no cuentan), cuál de ocho fragmentos tapa el hueco de un patrón o qué ha aparecido en la segunda fotografía de la misma escena.

Otra observación: los benchmarks de partida se solapan poco. El índice de Jaccard ponderado medio por pares es de 0,20. Cada uno capta solo una parte acotada de los errores de percepción y ninguno cubre el panorama completo.

Diez categorías y su peso

Las 3000 preguntas de la versión publicada se reparten así:

• Depth & 3D — 330 (11,00%)
• Visual Counting — 330 (11,00%)
• Visual Relation — 330 (11,00%)
• Visual Attribute — 330 (11,00%)
• Visual Localization — 330 (11,00%)
• Fine-grained Recognition — 290 (9,67%)
• Visual Comparison — 279 (9,30%)
• Hallucination — 271 (9,03%)
• Context Integration — 255 (8,50%)
• OCR — 255 (8,50%)

Las pruebas apuntan a vulnerabilidades concretas. A los modelos se les pide leer el texto blanco más grande respetando mayúsculas y puntuación, o encontrar un texto a partir de coordenadas normalizadas. También cuentan cubos en una pila, incluidos los invisibles, y comparan el grosor de las líneas en un gráfico. La categoría Hallucination funciona de otra manera: en preguntas sobre mesas blancas en una oficina o sobre logotipos con un perro entre 15 patrones, la respuesta correcta es cero. Un modelo propenso a «inventar» objetos falla aquí.

Qué muestran los resultados y cómo aplicarlos

Estos son los resultados del anuncio. Ninguno de los dieciséis participantes llegó al 60%. Las alucinaciones de percepción resultaron ser, de media, la capacidad más débil. Modelos con una puntuación global casi idéntica difieren notablemente en lo que distinguen exactamente. Esto importa a la hora de elegir un modelo: la puntuación global esconde el perfil, y el perfil determina dónde fallará el modelo en su tarea.

En el texto disponible del anuncio no hay una tabla con resultados por modelo, así que las clasificaciones concretas hay que consultarlas en el repositorio. El benchmark lo ha publicado la propia Moonshot, uno de los actores de este mercado. Por eso conviene revalidarlo con datos propios en lugar de tomarlo como un árbitro independiente.

La conclusión práctica para los equipos que integran MLLM en sus productos es sencilla. Si construye un flujo de gestión documental, mire OCR y Localization. Para robótica y navegación pesan más Depth & 3D y Visual Relation. En retail e inventario, lo crítico es Counting. En cualquier caso en que un error cueste dinero, hace falta la categoría Hallucination: indica cuánto tiende el modelo a ver lo que no existe. El código de evaluación es abierto, así que pasar a los candidatos por las categorías y comparar perfiles es cuestión de una tarde. Es más fiable que comparar una única cifra final en un leaderboard.