Qwen3-VL-4B mejora 18,33 p. p. de precisión en Drone-PUR tras un ajuste fino con imágenes de drones

Un grupo de investigadores de la Universidad de Tianjin, la Universidad de Nankai y la Universidad del Sureste ha publicado Drone-PUR, un dataset y benchmark que comprueba cómo los modelos multimodales (VLM) localizan, interpretan y relacionan entre sí las pistas visuales en imágenes tomadas por drones. Paralelamente, los autores presentaron el modelo base UAV-PUR, resultado de un ajuste fino de Qwen3-VL: sus versiones de 4 y 8 mil millones de parámetros mejoraron la precisión global en las tareas de opción múltiple en 18,33 y 17,52 puntos porcentuales respecto a los modelos preentrenados originales.

Tres niveles: percepción, comprensión, razonamiento

La idea del benchmark es que la respuesta final del modelo depende de la calidad de los «indicios» presentes en el encuadre. Los autores definen una pista visual como una región de la imagen relevante para la tarea, con uno o varios objetos, vinculada a una modalidad, un ángulo y un momento de captura concretos. La percepción localiza esas regiones y extrae la información básica: categoría, atributos, cantidad, posición. La comprensión las pone en relación con condiciones semánticas y conceptos espaciales. El razonamiento combina varias pistas mediante una inferencia lógica.

Un ejemplo del artículo: ante una imagen con patos, el modelo debe ver las aves y la cerca, analizar la estructura del corral y las huellas de presencia humana, y después explicar por qué todos los patos se han reunido en el estanque.

La captura con drones hace estas tareas más difíciles que las habituales. Los objetos son pequeños y están muy juntos, los atributos importantes ocupan apenas unos píxeles, y un cambio de ángulo altera tanto el aspecto de los objetos como el sistema de referencias espaciales. En Drone-PUR, más del 90% de las regiones etiquetadas ocupan menos del 1% de la superficie de la imagen.

Qué contiene el dataset

El benchmark incluye 11 tareas, 175 213 ejemplos de entrenamiento y 20 051 de prueba. Los datos de entrada son variados: fotogramas individuales, secuencias, pares de imágenes RGB y térmicas (TIR) y vistas sincronizadas de varios drones. Los autores tomaron imágenes de ocho datasets propios publicados con anterioridad y añadieron 66 940 nuevas. Diez tareas se evalúan mediante opción múltiple, mientras que la detección, el anclaje de un objeto a su descripción (grounding) y el conteo se comprueban en formato abierto, es decir, mediante una predicción cuantitativa directa.

Las cuatro tareas de razonamiento abarcan explicaciones causales y conclusiones sobre la situación dentro de un mismo encuadre, así como la combinación de pistas de distintas modalidades y ángulos. Los ejemplos se generaron con ayuda de VLM, se verificaron de forma cruzada con otros modelos y también a mano; esta revisión llevó más de 800 horas-persona. La tarea Position Spatial Judgment (PSJ, evaluación de la posición relativa de los objetos) se etiquetó íntegramente a mano, y todos los ejemplos de prueba pasaron por revisión humana.

Resultados de 22 modelos y efecto del ajuste fino

Los autores probaron 22 VLM de propósito general. Dentro de una misma familia, los modelos más grandes suelen rendir mejor en los tres niveles. La excepción son los juicios espaciales: su calidad no crece de forma estable con el tamaño y las predicciones muestran preferencias sistemáticas por ciertas direcciones. Los modelos tienen más dificultades con PSJ y con el razonamiento multiángulo (MVR).

Entre modelos, una percepción sólida se correlaciona con un razonamiento sólido. Los experimentos de ajuste fino con una sola tarea mostraron una transferencia selectiva en ambos sentidos: entrenar en la búsqueda e interpretación de pistas mejora el razonamiento, y entrenar en la combinación de pistas mejora la percepción. El enmascaramiento de regiones locales clave y la desactivación de modalidades o ángulos confirmaron que, sin los fragmentos importantes y sin observaciones complementarias, el razonamiento se resiente.

UAV-PUR se entrenó en tres etapas: adaptación de la percepción, entrenamiento conjunto de todas las habilidades y consolidación final solo con entrenamiento lingüístico. En las dos primeras etapas se emplearon tres «cabezas» auxiliares con supervisión geométrica y numérica, que ayudan a vincular las representaciones visuales con las tareas de captura aérea. En la inferencia solo se utiliza la cabeza de lenguaje original. Las mayores mejoras se lograron en la correspondencia de objetivos y en el anclaje con varias fuentes.

Limitaciones

UAV-PUR sigue por detrás del mejor modelo vía API en las tareas de razonamiento puro. La interpretación espacial fina, las predicciones fiables en formato abierto y la combinación de pistas de distintas fuentes continúan siendo difíciles incluso después del ajuste fino. La descripción disponible no incluye datos sobre los modelos líderes concretos ni sobre las puntuaciones absolutas, por lo que conviene comparar los resultados en los materiales del proyecto, en drone-pur.github.io.

Para los equipos que construyen sistemas de navegación, inspección o monitorización basados en VLM, la conclusión principal es práctica: los modelos de propósito general sin adaptación a la fotografía aérea fallan en los detalles pequeños y en el espacio, y el ajuste fino específico aporta una mejora notable, pero no cierra la brecha en razonamiento. El dataset abierto, con su conjunto de entrenamiento, permite reproducir esta receta con modelos propios.