RTAformer enseña al modelo a detectar cambios de relación entre objetos en vídeo

Los modelos que describen un vídeo como un grafo «sujeto — relación — objeto» chocan con un problema que no se resuelve a las bravas promediando por fotogramas. Un equipo de investigadores ha presentado RTAformer, un transformer de una sola etapa para Video Scene Graph Generation (VidSGG) que modela por separado la estabilidad de los objetos y los cambios bruscos de relación entre ellos. En el benchmark Action Genome supera a los métodos existentes en Recall y mean Recall, y su ventaja es más notable en los fotogramas en los que la relación realmente cambia que en el resto.

Por qué el modelo se queda atascado en el fotograma anterior

VidSGG resuelve dos tareas a la vez. Hay que entender que la persona que aparece en el fotograma y la misma persona cinco fotogramas atrás son un único objeto. Y hay que registrar qué hace esa persona con los objetos de su entorno: sostiene una taza, la deja sobre la mesa, la suelta. La primera tarea exige estabilidad; la segunda, sensibilidad a los cambios.

La mayoría de los enfoques actuales agregan información entre fotogramas para aprovechar el contexto temporal. Eso ayuda a suavizar el ruido y las detecciones omitidas. Pero ese suavizado tiene un efecto secundario: al priorizar la consistencia, difumina justo los momentos en los que algo cambia. El modelo sigue emitiendo el predicado anterior aunque la relación entre los objetos ya sea otra. Los autores llaman a este error relational semantic inertia, es decir, inercia semántica relacional.

En los vídeos reales, las transiciones son precisamente los puntos más informativos. Una persona coge un objeto, abre una puerta, se sienta en una silla: para las tareas downstream no importan las decenas de fotogramas idénticos, sino el momento en que cambia la relación.

Diferencia de consultas en lugar de promedio

RTAformer separa dos flujos de información. La identidad de las entidades sigue siendo el componente «lento»: el objeto debe reconocerse de un fotograma a otro. La dinámica de las relaciones pasa a ser el componente «rápido», y para ella el modelo no usa el contexto general, sino la diferencia.

En concreto, el framework toma las consultas de relación (relation queries) de fotogramas contiguos, calcula la diferencia entre ellas y la calibra. Esa diferencia calibrada se incorpora al proceso y guía la actualización del predicado. Si las consultas apenas se distinguen, el predicado se mantiene. Si la diferencia es significativa, el modelo recibe una señal explícita de que toca cambiar.

El segundo componente funciona solo durante el entrenamiento. Se trata de la alineación de instancias entre fotogramas (cross-frame instance alignment): las representaciones de un mismo objeto en distintos fotogramas se acercan entre sí. Así se reduce la deriva de las representaciones, que podría hacer que la identidad se «desplazara» junto con el cambio de relación. Gracias a ello, la mayor sensibilidad a las transiciones no rompe la estabilidad de los objetos.

El enfoque es de una sola etapa: la detección de objetos y la predicción de relaciones se ejecutan en un único modelo, y no en una cadena formada por un detector y un clasificador de relaciones independientes. En vídeo esto importa, porque los errores de las etapas separadas se acumulan.

Qué mostraron los experimentos

Los autores probaron RTAformer en Action Genome, el benchmark estándar para VidSGG.

• Métricas: Recall y mean Recall; esta última es importante para los predicados poco frecuentes.
• Resultado: mejora en ambas métricas respecto a los métodos existentes.
• Ablaciones: cada uno de los componentes propuestos contribuye a la calidad final.
• Comparación con los mismos backbone: la mejora en los fotogramas con cambio de relación es mayor que en los fotogramas sin él.

El último punto es más relevante que las cifras globales. Indica que la ganancia no procede de una red base más potente ni de los casos sencillos, en los que la relación se mantiene durante mucho tiempo. El método ataca de verdad el problema planteado, y no se limita a subir la puntuación media.

Dónde puede resultar útil

Los grafos de escena hacen falta allí donde a un sistema no le basta con una lista de objetos en el fotograma. A un robot asistente no solo le importa ver la taza y la mano, sino distinguir «coger» de «soltar». Los sistemas de analítica de vídeo, de búsqueda en vídeo y de generación de descripciones necesitan eventos, no instantáneas estáticas. Para los modelos multimodales que reciben vídeo, un grafo estructurado puede servir como representación intermedia compacta.

La conclusión práctica para quienes construyen estos sistemas: al procesar vídeo conviene evaluar el modelo por separado en los fotogramas de transición. Un Recall medio sobre todo el conjunto oculta fácilmente la inercia, porque la mayoría de los fotogramas son precisamente «tranquilos». La idea de la diferencia entre consultas contiguas se implementa a un coste relativamente bajo y, en teoría, es transferible a otras tareas en las que el estado cambia a saltos: reconocimiento de acciones, seguimiento de interacciones, análisis de manipulaciones en robótica. Hasta qué punto escala fuera de Action Genome lo dirán verificaciones independientes en otros datasets.