Investigadores publican un dataset de 100 000 artículos con imágenes y un test de 7 métricas

Cuando un modelo de IA recibe la petición «explica cómo preparar un risotto», una buena respuesta no se limita al texto. Hacen falta los pasos y también fotografías que muestren el aspecto del arroz en cada etapa. Estos modelos se denominan multimodales unificados: saben escribir y también dibujar.

Sin embargo, casi nadie ha evaluado de forma sistemática su capacidad de alternar texto e imágenes dentro de una misma respuesta (el artículo lo llama interleaved generation). Investigadores de la Universidad de Nanjing, Meituan, Imperial College London y la Universidad Tecnológica de Nanyang han publicado IntReal. Es un conjunto de datos de 100 000 ejemplos reales con 538 452 imágenes, junto con un benchmark de siete métricas que muestran en qué punto concreto flaquea un modelo.

De dónde salen los datos y por qué se descartó el 90%

Los autores reunieron más de un millón de ejemplos en bruto procedentes de siete fuentes que permiten la recopilación y distribución públicas. Según el papel que desempeñan el texto y las imágenes, clasificaron los materiales en cuatro categorías:

• planificación: decisiones adaptadas a objetivos y restricciones concretos, por ejemplo, un itinerario de viaje con mapas y fotos; • conocimiento: artículos enciclopédicos en los que la imagen vincula un concepto abstracto con un objeto real; • instrucciones: tutoriales de cocina y de otros tipos, donde las imágenes muestran los estados intermedios; • historias: narraciones en las que las imágenes crean personajes y escenas (la idea se inspira en el proyecto SEED-Story).

A continuación vino una depuración en cuatro etapas. Primero se descartaron las imágenes con proporciones absurdas, baja resolución o formato no compatible. Después, el modelo de evaluación de calidad RALI eliminó las imágenes malas, mientras que unos clasificadores ajustados sobre SigLIP2 detectaron marcas de agua y rostros.

El modelo DINOv3 suprimió las imágenes casi idénticas dentro de un mismo ejemplo. En la tercera etapa, el modelo de lenguaje Qwen3.5-397B-A17B redactó pies de foto para las imágenes y retocó el texto circundante.

El texto original tiene prioridad sobre el generado, para no perder datos factuales. En la cuarta etapa, el mismo modelo elaboró para cada ejemplo una consulta y una cadena de razonamiento, de modo que los datos puedan usarse directamente para el ajuste fino.

Un solo defecto en un ejemplo largo hace que se descarte el ejemplo entero. Por eso, al final quedó aproximadamente el 10% de lo recopilado, y las categorías se equilibraron en volumen.

Siete métricas en lugar de una valoración «global»

Lo habitual es entregar una respuesta larga con imágenes a un único modelo multimodal que hace de juez. Los autores sostienen que así no se puede saber dónde falla el modelo, y que un juez generalista no siempre es competente en los detalles. En IntReal, cada habilidad tiene su propio experto.

El test se construye con 600 ejemplos del dataset, 150 por categoría. Cada modelo se evalúa en dos modos. En el primero, genera desde cero toda la respuesta. En el segundo, recibe un contexto real de texto e imágenes y debe dibujar la imagen siguiente. Cada modelo requiere generar más de 6 000 imágenes insertadas en texto, por lo que el conjunto se diseñó deliberadamente compacto.

Las siete métricas:

• riqueza del texto: un modelo de lenguaje compara por pares la respuesta con el texto real; • exactitud factual: el mismo modelo busca errores, contradicciones y lagunas lógicas; • estética de las imágenes: un modelo de evaluación de la calidad de imagen; • repeticiones: similitud de rasgos DINO entre imágenes contiguas; si es demasiado alta, significa que el modelo «dibujó lo mismo»; • número de imágenes: el modelo debe generar tantas ilustraciones como tiene el ejemplo real; • coherencia con el contexto: un modelo multimodal comprueba si se cumplen los requisitos visuales, deducidos de antemano del texto y las imágenes previos; • consistencia del objeto: similitud con la referencia según DINO, para que el protagonista de la historia o el ingrediente de la receta no cambien de una imagen a otra. Solo se calcula para historias e instrucciones.

Verificación del propio test: la correlación de Spearman por pares máxima entre las métricas es inferior a 0,42, lo que indica que miden aspectos distintos. La coincidencia con la valoración humana es del 83,3%. Al cambiar los modelos expertos, los resultados se mantienen coherentes, con una correlación superior a 0,9.

Qué mostraron los experimentos

Los autores compararon cuatro familias de modelos. En una, el checkpoint abierto no sabe alternar texto e imágenes por sí solo, así que se evaluó únicamente tras ajustarlo con IntReal-100K. Otra sí sabe hacerlo, pero no ha publicado métodos de ajuste fino, por lo que se usó tal cual. La tercera, SenseNova-U1, admite ambos escenarios y tiene dos variantes: 8B-MoT y A3B-MoT. En las dos, la rama generativa tiene 8000 millones de parámetros, mientras que el bloque de comprensión tiene 8000 millones o 30 000 millones, con arquitectura de mezcla de expertos. El cuarto modelo es cerrado y se accede a él mediante API.

El ajuste fino supervisado convencional con IntReal-100K mejoró la generación de texto de SenseNova-U1, pero empeoró parte de los indicadores de imagen. Es un problema conocido de estos modelos: texto e imágenes empujan los pesos en direcciones distintas.

La solución resultó inesperada. Los autores aplicaron Flow-GRPO, un método de aprendizaje por refuerzo para modelos generativos, solo a la tarea «dibuja la siguiente imagen según el contexto». Las métricas de IntReal sirvieron como recompensa. Con ello se recuperó la calidad de imagen perdida, y el modelo obtuvo la mejor puntuación global entre los modelos abiertos del test.

Conclusión práctica para los ingenieros: no es necesario entrenar texto e imágenes juntos en cada etapa. Se puede optimizar una sola modalidad y obtener mejoras en las respuestas mixtas. Para los equipos que desarrollan asistentes de IA para tutoriales, guías de viaje y materiales didácticos, IntReal ofrece un dataset listo para usar y un test de diagnóstico que permite ver en qué punto exacto falla el modelo.