OBB-PBD enseña a LocateAnything-3B a encontrar objetos rotados: el rotIoU sube de 0,125 a 0,303

Un equipo liderado por Chang Woo Song y Yeong Jun Koh, de la Universidad Nacional de Chungnam, entrenó al modelo LocateAnything-3B para localizar objetos en imágenes aéreas a partir de una descripción textual y dibujar directamente una caja rotada a su alrededor. En el benchmark AVVG, el rotIoU medio subió de 0,1253 en la base zero-shot a 0,303 ± 0,012 (media y desviación estándar sobre tres semillas de entrenamiento). El trabajo se publicó en la revista Remote Sensing, volumen 18, número 20, artículo 3535. El código y los 9 checkpoints están disponibles en abierto.

Por qué una caja horizontal no funciona vista desde arriba

En fotografías normales, los objetos suelen mantenerse más o menos verticales, así que una caja horizontal de cuatro coordenadas funciona razonablemente bien. En imágenes de drones y satélites la cosa cambia. Un coche en un aparcamiento o en un cruce puede estar rotado en cualquier ángulo, y una caja alineada a los ejes termina capturando mucho fondo y vehículos vecinos. La métrica de intersección cae en consecuencia.

Además, la mayoría de los modelos de grounding predicen las coordenadas de forma secuencial, token a token. El Parallel Box Decoding (PBD) integrado en LocateAnything-3B funciona de otra manera: todos los slots geométricos se predicen en un único paso hacia delante. Pero ese bloque estaba diseñado solo para cuatro números. La tarea de los autores consistía en encajar un ángulo en esa interfaz de bloque sin perder velocidad.

Seis slots en lugar de cuatro

Ahora la caja orientada se describe con seis valores: cx, cy, w, h, sin2θ y cos2θ. El ángulo se codifica mediante un argumento doble. Como rotar un rectángulo 180° produce la misma figura, predecir θ directamente generaría una discontinuidad en el límite del rango. El par sin2θ/cos2θ elimina esa ambigüedad, y el ángulo real se recupera después a partir de esos dos números. La decodificación sigue haciéndose en un solo paso.

La metodología de validación merece una mención aparte. Los autores escriben que no se conformaron con una curva de pérdida decreciente. Ejecutaron pruebas de control mezclando imágenes y prompts, además de pruebas de visibilidad y de fuga de información, para demostrar que el modelo corregido se apoya tanto en la imagen como en el texto de la consulta, y no solo en estadísticas de los prompts. En un campo donde es fácil obtener una curva de pérdida bonita y un modelo inútil, esta higiene es importante.

Qué mostraron las cifras

• Benchmark: AVVG (aerial vehicle visual grounding), con objetivos realmente rotados en distintos ángulos.
• Conjunto de prueba: las 6.139 anotaciones completas sobre las 120 imágenes.
• Base zero-shot: rotIoU 0,1253.
• OBB-PBD: rotIoU 0,303 ± 0,012 sobre tres semillas.
• Aporte de la orientación: entrenar con las cajas rotadas reales, y no con sus envolventes alineadas a los ejes, añade +0,055 ± 0,008 de rotIoU respecto al control emparejado. Los intervalos de confianza del 95% para cada semilla excluyen el cero.
• La simple ampliación del bloque (block expansion), sin entrenar la orientación, no produce ninguna mejora de rotIoU distinguible de cero.
• Formato de la caja: (cx, cy, w, h, sin2θ, cos2θ).
• Modelo base: LocateAnything-3B con Parallel Box Decoding.
• Publicación: Remote Sensing 18(20), 3535; código y 9 checkpoints liberados.

El último punto es el más instructivo. La mejora no proviene de una capa arquitectónica extra, sino de aquello en lo que realmente se entrena al modelo. Darle slots adicionales pero seguir entrenándolo con cajas horizontales no cambia nada.

Qué se puede aprovechar

Un rotIoU absoluto de 0,303 todavía está lejos del techo. Es más un punto de partida funcional que un producto listo para monitorización territorial. Aun así, tiene varias ventajas prácticas. El enfoque sirve a equipos que trabajan con imágenes aéreas y satelitales: búsqueda de vehículos por descripción, inventario de aparcamientos, análisis de tráfico. Los checkpoints abiertos permiten no entrenar el modelo desde cero, sino compararlo con la propia base en datos propios. El esquema de sin2θ/cos2θ también se puede trasladar a otros decodificadores de bloque que necesiten añadir un ángulo sin romper la interfaz de un solo paso.

También conviene replicar la metodología de control. El control emparejado con cajas alineadas a los ejes y la mezcla de imágenes con prompts permiten separar la contribución real de la orientación del efecto de los parámetros adicionales. Para cualquier trabajo de grounding en dominios no estándar, es una forma económica de comprobar que el modelo realmente está mirando la imagen.