NUS enseñó a un modelo a encontrar lo que él mismo describió: el gIoU sube de 57,5% a 68,2%

Investigadores de la Universidad Nacional de Singapur han presentado Generalized CycleGRPO, un método de aprendizaje por refuerzo en el que un modelo de lenguaje multimodal aprende a la vez a describir una región seleccionada y a encontrarla a partir de una descripción textual. El método abarca los planteamientos espacial, temporal y espaciotemporal. En GroundingSuite eleva el gIoU global del modelo SAMTok de 57,5% a 68,2%, y en GRES el gIoU medio subió de 71,2% a 78,7%. Los autores del trabajo son Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li y Dacheng Tao. El artículo continúa CycleGRPO, aceptado en ECCV26.

Una descripción que debe llevar de vuelta a la región

La comprensión multimodal fina exige dos habilidades. La primera es explicar qué hay en una zona determinada de un fotograma o de un vídeo. La segunda es encontrar esa zona a partir de una frase. Lo habitual es entrenar ambas direcciones por separado, cada una con sus propias funciones de pérdida y sus propios datos anotados.

Generalized CycleGRPO las cierra en un ciclo. Se le da al modelo una región y este genera varias descripciones candidatas. Después, cada descripción se vuelve a introducir como entrada y el modelo intenta reconstruir la región original. La coincidencia entre el área reconstruida y el original aporta una recompensa verificable por la calidad de la descripción. Las recompensas de localización por separado mejoran el mapeo inverso, del texto a la región.

En este esquema no hay descripciones de referencia, y tampoco hace falta un modelo de lenguaje externo que actúe como juez. La propia tarea verifica la descripción: si a partir del texto no se puede encontrar la región original, la descripción es mala.

De las máscaras en una imagen a los intervalos en un vídeo

La clave de ingeniería es un espacio de regiones común. En las imágenes, la región es una máscara o un recuadro. En el vídeo, es un intervalo temporal junto con evidencias espaciales con marcas de tiempo. El mismo ciclo funciona en los tres dominios: espacial, temporal y espaciotemporal.

En vídeo, el ciclo tiene un efecto adicional. Si un evento se repite, por ejemplo una persona que abre varias veces la misma puerta, una descripción vaga encaja con cualquiera de las repeticiones y la localización basada en ella falla. La recompensa empuja al modelo a escribir descripciones que distingan el episodio buscado de los similares.

Para comprobar esta propiedad, los autores crearon DOVE (Distinctive Occurrence-level Video-caption Evaluation), un benchmark contrastivo verificado por personas. Mide hasta qué punto una descripción señala sin ambigüedad una ocurrencia concreta de un evento.

Las cifras en todos los benchmarks

• GroundingSuite: el gIoU global de SAMTok subió de 57,5% a 68,2% (+10,7 pp.).
• GRES: el gIoU medio subió de 71,2% a 78,7% (+7,5 pp.).
• Charades: 51,9% de tIoU frente a 45,6% de la inicialización con Qwen3-VL.
• DOVE: 33,3% de Temporal Evidence Coverage frente a 14,8% de Qwen3-VL, más del doble.

En las tareas temporales se tomó Qwen3-VL como base, mientras que en las espaciales la comparación se hace con SAMTok. El salto más acusado se observa en DOVE, es decir, precisamente en la capacidad de distinguir eventos repetidos.

Dónde puede resultar útil

La principal ventaja del método es que elimina la dependencia de un etiquetado costoso. La segmentación por texto, la vinculación de frases con objetos y la búsqueda de momentos en vídeo suelen requerir pares «región — descripción», que se anotan a mano o los genera un modelo maestro potente. El ciclo extrae la señal de entrenamiento de la propia estructura de la tarea.

En la práctica, esto interesa a los equipos que desarrollan analítica de vídeo, búsqueda en grabaciones de cámaras y herramientas de edición. En esos casos hay que encontrar el fragmento y el objeto exactos a partir de una frase como «la segunda vez que el mensajero deja el paquete». Para la robótica y para los agentes que actúan en interfaces y en entornos físicos, anclar el lenguaje a un área concreta es igual de importante.

Los autores han publicado los modelos, el código y el benchmark DOVE en la página del proyecto, de modo que los resultados se pueden comprobar con datos propios. Proponen la idea de la consistencia cíclica «región — texto» como un principio general de autoevaluación para los modelos multimodales.