RTAformer ensina o modelo a perceber mudanças de relação entre objetos em vídeos

Modelos que descrevem um vídeo como um grafo "sujeito — relação — objeto" esbarram em um problema que não se resolve de frente com uma média entre quadros. Uma equipe de pesquisadores apresentou o RTAformer, um transformer de etapa única para Video Scene Graph Generation (VidSGG), que modela separadamente a estabilidade dos objetos e as mudanças bruscas nas relações entre eles. No benchmark Action Genome, ele supera os métodos existentes em Recall e mean Recall, e a vantagem é mais evidente nos quadros em que a relação realmente muda do que nos demais.

Por que o modelo fica preso ao quadro anterior

O VidSGG resolve duas tarefas ao mesmo tempo. É preciso entender que a pessoa no quadro e a mesma pessoa cinco quadros atrás são o mesmo objeto. E é preciso registrar o que essa pessoa faz com os objetos ao redor: segura a xícara, apoia na mesa, solta. A primeira tarefa exige estabilidade; a segunda, sensibilidade a mudanças.

A maioria das abordagens atuais agrega informações entre quadros para aproveitar o contexto temporal. Isso ajuda a suavizar ruído e detecções perdidas. Mas essa suavização tem um efeito colateral: a ênfase na consistência borra justamente os momentos em que algo muda. O modelo continua emitindo o predicado anterior, embora a relação entre os objetos já seja outra. Os autores chamam esse erro de relational semantic inertia, ou seja, inércia semântica relacional.

Em vídeos reais, as transições são os pontos mais informativos. A pessoa pegou um objeto, abriu a porta, sentou na cadeira: para tarefas downstream, importa o momento em que a relação muda, não as dezenas de quadros idênticos.

Diferença entre consultas em vez de média

O RTAformer separa dois fluxos de informação. A identidade das entidades continua sendo o componente "lento": o objeto precisa ser reconhecido de um quadro para o outro. A dinâmica das relações vira o componente "rápido", e para ela o modelo usa não o contexto geral, mas a diferença.

Na prática, o framework pega as consultas de relação (relation queries) de quadros vizinhos, calcula a diferença entre elas e a calibra. Essa diferença calibrada entra no processo e orienta a atualização do predicado. Se as consultas quase não diferem, o predicado permanece o mesmo. Se a diferença é significativa, o modelo recebe um sinal explícito de que é hora de mudar.

O segundo componente atua somente no treinamento. É o alinhamento de instâncias entre quadros (cross-frame instance alignment): as representações de um mesmo objeto em quadros distintos são aproximadas entre si. Isso reduz o drift das representações, que poderia fazer a identidade "derivar" junto com a mudança de relação. Assim, a sensibilidade maior às transições não compromete a estabilidade dos objetos.

A abordagem é de etapa única: a detecção de objetos e a previsão de relações acontecem em um único modelo, e não em uma combinação de detector e classificador de relações separados. Em vídeo, isso importa porque os erros de estágios separados se acumulam.

O que os experimentos mostraram

Os autores avaliaram o RTAformer no Action Genome, benchmark padrão para VidSGG.

• Métricas: Recall e mean Recall, sendo que o mean Recall é importante para predicados raros.
• Resultado: melhora nas duas métricas em relação aos métodos existentes.
• Ablações: cada um dos componentes propostos contribui para a qualidade final.
• Comparação com os mesmos backbones: o ganho nos quadros com mudança de relação é maior do que nos quadros sem mudança.

O último ponto pesa mais do que os números gerais. Ele indica que o ganho não vem de uma rede base mais potente nem dos casos simples, em que a relação se mantém por muito tempo. O método realmente trata o problema declarado, em vez de apenas elevar a nota média.

Onde isso pode ser útil

Grafos de cena são necessários quando uma lista de objetos no quadro não basta para o sistema. Para um robô assistente, não basta ver a xícara e a mão: é preciso distinguir "pegou" de "soltou". Sistemas de videoanálise, busca em vídeo e geração de descrições precisam de eventos, não de imagens estáticas. Para modelos multimodais que recebem vídeo, um grafo estruturado pode servir como representação intermediária compacta.

A conclusão prática para quem constrói esses sistemas: ao processar vídeo, vale avaliar o modelo separadamente nos quadros de transição. O Recall médio de todo o conjunto esconde a inércia com facilidade, porque a maioria dos quadros é "calma". A ideia da diferença entre consultas vizinhas é relativamente barata de implementar e, em teoria, pode ser transferida para outras tarefas em que o estado muda aos saltos: reconhecimento de ações, rastreamento de interações, análise de manipulações em robótica. Até que ponto ela escala para além do Action Genome, só verificações independentes em outros datasets poderão mostrar.