RTAformer apprend au modèle à repérer les changements de relations entre objets dans une vidéo

Les modèles qui décrivent une vidéo sous forme de graphe « sujet — relation — objet » butent sur un problème qu'une simple moyenne sur les images ne résout pas. Une équipe de chercheurs présente RTAformer, un transformeur monoétape pour la Video Scene Graph Generation (VidSGG), qui modélise séparément la stabilité des objets et les changements brusques de relations entre eux. Sur le benchmark Action Genome, il dépasse les méthodes existantes en Recall et en mean Recall, et son avantage est plus net sur les images où la relation change réellement que sur les autres.

Pourquoi le modèle reste bloqué sur l'image précédente

La VidSGG doit résoudre deux tâches à la fois. Il faut comprendre que la personne visible à l'écran et la même personne cinq images plus tôt sont un seul et même objet. Il faut aussi consigner ce que cette personne fait avec les objets qui l'entourent : elle tient une tasse, la pose sur la table, la lâche. La première tâche exige de la stabilité, la seconde, de la sensibilité aux changements.

La plupart des approches actuelles agrègent l'information entre les images pour exploiter le contexte temporel. Cela aide à lisser le bruit et les détections manquantes. Mais ce lissage a un effet secondaire : en privilégiant la cohérence, il brouille précisément les moments où quelque chose change. Le modèle continue alors à produire l'ancien prédicat alors que le lien entre les objets n'est plus le même. Les auteurs appellent cette erreur « relational semantic inertia », soit l'inertie sémantique relationnelle.

Dans les vidéos réelles, les transitions sont justement les points les plus informatifs. La personne a pris un objet, ouvert une porte, s'est assise sur une chaise : pour les tâches en aval, ce ne sont pas des dizaines d'images identiques qui comptent, mais le moment où la relation change.

Différence de requêtes plutôt que moyenne

RTAformer sépare deux flux d'information. L'identité des entités reste la composante « lente » : un objet doit être reconnu d'une image à l'autre. La dynamique des relations devient la composante « rapide », pour laquelle le modèle n'utilise pas un contexte global, mais une différence.

Concrètement, le framework prend les requêtes de relations (relation queries) d'images voisines, calcule l'écart entre elles et le calibre. Cette différence calibrée est injectée dans le processus et guide la mise à jour du prédicat. Si les requêtes diffèrent à peine, le prédicat reste inchangé. Si l'écart est significatif, le modèle reçoit un signal explicite indiquant qu'il est temps de basculer.

Le second composant ne fonctionne qu'à l'entraînement. Il s'agit de l'alignement d'instances entre images (cross-frame instance alignment) : les représentations d'un même objet dans différentes images sont rapprochées les unes des autres. Cela réduit la dérive des représentations, qui pourrait sinon faire « flotter » l'identité au gré des changements de relation. Grâce à cela, la sensibilité accrue aux transitions ne dégrade pas la stabilité des objets.

L'approche est monoétape : la détection des objets et la prédiction des relations s'effectuent dans un seul modèle, et non dans une chaîne composée d'un détecteur et d'un classifieur de relations distincts. Pour la vidéo, c'est important, car les erreurs des étapes séparées s'accumulent.

Ce que montrent les expériences

Les auteurs ont testé RTAformer sur Action Genome, le benchmark de référence pour la VidSGG.

• Métriques : Recall et mean Recall, ce dernier étant important pour les prédicats rares.
• Résultat : amélioration sur les deux métriques par rapport aux méthodes existantes.
• Ablations : chacun des composants proposés contribue à la qualité finale.
• Comparaison à backbone identique : le gain sur les images avec changement de relation est supérieur à celui sur les images sans changement.

Le dernier point compte plus que les chiffres globaux. Il montre que le gain ne vient ni d'un réseau de base plus puissant, ni des cas faciles où la relation dure longtemps. La méthode soigne bien le mal annoncé, au lieu de simplement relever la note moyenne.

À quoi cela peut servir

Les graphes de scène sont utiles là où une liste d'objets présents dans l'image ne suffit pas au système. Pour un robot assistant, il ne suffit pas de voir la tasse et la main : il faut aussi distinguer « a pris » de « a lâché ». Les systèmes d'analyse vidéo, de recherche dans les vidéos et de génération de descriptions ont besoin d'événements, pas d'instantanés statiques. Pour les modèles multimodaux auxquels on fournit de la vidéo, un graphe structuré peut servir de représentation intermédiaire compacte.

La conclusion pratique pour ceux qui construisent de tels systèmes : lors du traitement vidéo, il vaut la peine d'évaluer le modèle séparément sur les images de transition. Le Recall moyen sur l'ensemble du jeu de données masque facilement l'inertie, car la plupart des images sont justement « calmes ». L'idée de la différence entre requêtes voisines est relativement peu coûteuse à mettre en œuvre et, en théorie, transposable à d'autres tâches où l'état change par à-coups : reconnaissance d'actions, suivi d'interactions, analyse de manipulations en robotique. Reste à savoir si elle passe à l'échelle au-delà d'Action Genome : des vérifications indépendantes sur d'autres jeux de données le diront.