NUS ensinou o modelo a encontrar o que ele mesmo descreveu: gIoU subiu de 57,5% para 68,2%

Pesquisadores da Universidade Nacional de Singapura apresentaram o Generalized CycleGRPO, um método de aprendizado por reforço em que um modelo de linguagem multimodal aprende, ao mesmo tempo, a descrever uma região destacada e a encontrá-la a partir de uma descrição textual. O método cobre os cenários espacial, temporal e espaço-temporal. No GroundingSuite, ele eleva o gIoU geral do modelo SAMTok de 57,5% para 68,2%, e no GRES o gIoU médio subiu de 71,2% para 78,7%. Os autores do trabalho são Xin Zhang, Haochen Wang, Beibei Lin, Zhaoxiang Zhang, Robby T. Tan, Jason Li e Dacheng Tao. O artigo dá continuidade ao CycleGRPO, aceito na ECCV26.

Uma descrição que precisa levar de volta ao ponto de partida

A compreensão multimodal refinada exige duas habilidades. A primeira é explicar o que há em uma determinada área de um quadro ou vídeo. A segunda é, a partir de uma frase, encontrar essa área. Em geral, as duas frentes são treinadas separadamente, cada uma com suas próprias funções de perda e seus próprios dados anotados.

O Generalized CycleGRPO fecha as duas num ciclo. O modelo recebe uma região e gera vários candidatos de descrição. Cada descrição é então devolvida como entrada, e o modelo tenta reconstruir a região original. A coincidência entre a área reconstruída e a original fornece uma recompensa verificável pela qualidade da legenda. Recompensas separadas pela localização melhoram o mapeamento inverso, do texto para a área.

Não há legendas de referência nesse esquema, e também não é preciso um modelo de linguagem externo no papel de juiz. Quem avalia a descrição é a própria tarefa: se não é possível encontrar a região original a partir do texto, a descrição é ruim.

De máscaras em imagens a intervalos em vídeos

O principal truque de engenharia é o espaço comum de regiões. Em imagens, a região é uma máscara ou uma caixa delimitadora. Em vídeos, é um intervalo temporal junto com evidências espaciais com marcações de tempo. O mesmo ciclo funciona nos três domínios: espacial, temporal e espaço-temporal.

No vídeo, o ciclo tem um efeito adicional. Quando um evento se repete, por exemplo uma pessoa que abre a mesma porta várias vezes, uma legenda vaga serve para qualquer repetição, e a localização feita com base nela erra o alvo. A recompensa empurra o modelo a escrever descrições que distinguem o episódio-alvo dos semelhantes.

Para testar essa propriedade, os autores criaram o DOVE (Distinctive Occurrence-level Video-caption Evaluation), um benchmark contrastivo com verificação humana. Ele mede o quanto uma legenda aponta, sem ambiguidade, para uma ocorrência específica do evento.

Os números em todos os benchmarks

• GroundingSuite: o gIoU geral do SAMTok subiu de 57,5% para 68,2% (+10,7 p.p.).
• GRES: o gIoU médio subiu de 71,2% para 78,7% (+7,5 p.p.).
• Charades: 51,9% de tIoU, contra 45,6% da inicialização com Qwen3-VL.
• DOVE: 33,3% de Temporal Evidence Coverage, contra 14,8% do Qwen3-VL, mais que o dobro.

Nas tarefas temporais, a base usada foi o Qwen3-VL; nas espaciais, a comparação é feita com o SAMTok. O salto mais expressivo aparece no DOVE, ou seja, justamente na capacidade de distinguir eventos repetidos.

Onde isso pode ser útil

O principal valor do método é eliminar a dependência de anotação cara. Segmentação por texto, ancoragem de frases em objetos e busca de momentos em vídeo costumam exigir pares "região — descrição", anotados à mão ou gerados por um modelo professor mais forte. O ciclo extrai o sinal de treinamento da própria estrutura da tarefa.

Na prática, isso interessa a equipes que desenvolvem análise de vídeo, busca em gravações de câmeras e ferramentas de edição. Nesses casos, é preciso encontrar o trecho e o objeto exatos a partir de uma frase como "a segunda vez em que o entregador deixa a encomenda". Para a robótica e para agentes que atuam em interfaces e no ambiente físico, a ligação entre linguagem e uma área específica é igualmente importante.

Os autores publicaram os modelos, o código e o benchmark DOVE na página do projeto, de modo que os resultados podem ser verificados com dados próprios. Eles propõem a ideia de consistência cíclica "região — texto" como um princípio geral de autoavaliação para modelos multimodais.