OBB-PBD ensina o LocateAnything-3B a localizar objetos rotacionados: rotIoU sobe de 0,125 para 0,303

Uma equipe liderada por Chang Woo Song e Yeong Jun Koh, da Chungnam National University, treinou o modelo LocateAnything-3B para localizar objetos em imagens aéreas a partir de uma descrição em texto e desenhar imediatamente uma caixa rotacionada em torno deles. No benchmark AVVG, o rotIoU médio subiu de 0,1253 na base zero-shot para 0,303 ± 0,012 (média e desvio padrão em três seeds de treinamento). O trabalho foi publicado na revista Remote Sensing, volume 18, edição 20, artigo 3535. O código e os 9 checkpoints estão disponíveis em acesso aberto.

Por que uma caixa horizontal não funciona vista de cima

Em fotos comuns, os objetos geralmente ficam mais ou menos na vertical, então uma caixa horizontal com quatro coordenadas funciona razoavelmente bem. Em imagens de drones e satélites, a situação é diferente. Um carro em um estacionamento ou em um cruzamento pode estar rotacionado em qualquer ângulo, e uma caixa alinhada aos eixos acaba capturando muito fundo e veículos vizinhos. A métrica de interseção cai como consequência.

Além disso, a maioria dos modelos de grounding prevê as coordenadas de forma sequencial, token por token. O Parallel Box Decoding (PBD), embutido no LocateAnything-3B, funciona de outro jeito: todos os slots geométricos são previstos em uma única passagem direta. Mas esse bloco foi projetado para apenas quatro números. A tarefa dos autores era encaixar um ângulo nessa interface baseada em blocos sem perder velocidade.

Seis slots em vez de quatro

Agora a caixa orientada é descrita por seis valores: cx, cy, w, h, sin2θ e cos2θ. O ângulo é codificado por meio de um argumento duplicado. Como rotacionar um retângulo em 180° produz a mesma figura, prever θ diretamente criaria uma descontinuidade na borda do intervalo. O par sin2θ/cos2θ elimina essa ambiguidade, e o ângulo real é recuperado depois a partir desses dois números. A decodificação ainda ocorre em uma única passagem.

A metodologia de validação merece atenção especial. Os autores escrevem que não se basearam apenas em uma curva de perda decrescente. Eles executaram testes de controle embaralhando imagens e prompts, além de verificações de visibilidade e vazamento, para mostrar que o modelo corrigido depende tanto da imagem quanto do texto da consulta — e não apenas de estatísticas dos prompts. Em uma área onde é fácil obter uma curva de perda bonita e um modelo inútil, esse tipo de rigor é importante.

O que os números mostraram

• Benchmark: AVVG (aerial vehicle visual grounding), com alvos realmente rotacionados em ângulos diversos.
• Conjunto de teste: os 6.139 registros completos nas 120 imagens.
• Base zero-shot: rotIoU 0,1253.
• OBB-PBD: rotIoU 0,303 ± 0,012 em três seeds.
• Contribuição da orientação: treinar com as caixas rotacionadas reais, em vez de seus envelopes alinhados aos eixos, adiciona +0,055 ± 0,008 de rotIoU em relação ao controle pareado. Os intervalos de confiança de 95% para cada seed excluem o zero.
• A simples expansão do bloco (block expansion), sem treinar a orientação, não produz ganho de rotIoU distinguível de zero.
• Formato da caixa: (cx, cy, w, h, sin2θ, cos2θ).
• Modelo base: LocateAnything-3B com Parallel Box Decoding.
• Publicação: Remote Sensing 18(20), 3535; código e 9 checkpoints liberados.

O último ponto é o mais instrutivo. O ganho não vem de uma camada arquitetônica extra, mas do que o modelo é efetivamente treinado para fazer. Dar a ele slots adicionais, mas continuar treinando com caixas horizontais, não muda nada.

O que dá para aproveitar

Um rotIoU absoluto de 0,303 ainda está longe do teto. É mais um ponto de partida funcional do que um produto pronto para monitoramento territorial. Mesmo assim, há várias vantagens práticas. A abordagem serve para equipes que trabalham com imagens aéreas e de satélite: busca de veículos por descrição, inventário de estacionamentos, análise de tráfego. Os checkpoints abertos permitem não treinar o modelo do zero, mas sim compará-lo com a própria base em dados próprios. O esquema de sin2θ/cos2θ também pode ser transferido para outros decodificadores em bloco que precisem adicionar um ângulo sem quebrar a interface de passagem única.

Vale repetir também a metodologia de controles. O controle pareado com caixas alinhadas aos eixos e o embaralhamento de imagens com prompts separam a contribuição real da orientação do efeito de parâmetros adicionais. Para qualquer trabalho de grounding em domínios não padronizados, essa é uma forma barata de verificar se o modelo está realmente olhando para a imagem.