Apple ML Research présente Text-to-Sounding-Video, une méthode pour générer des vidéos sonorisées à partir de texte

Des chercheurs d'Apple ML Research ont présenté des travaux sur la génération de vidéos avec un son synchronisé à partir d'une description textuelle. L'article désigne ce champ sous le nom de Text-to-Sounding-Video (T2SV).

Qu'est-ce que le Text-to-Sounding-Video

Le T2SV consiste à générer simultanément une séquence vidéo et une piste audio à partir d'une seule description textuelle. Les deux modalités, vidéo et son, doivent être cohérentes avec ce conditionnement textuel précis, et pas seulement entre elles. Jusqu'ici, les chercheurs se sont surtout concentrés sur l'entraînement conjoint de la vidéo et de l'audio. Mais selon les auteurs, deux problèmes clés de ce domaine restent toujours sans solution.

Quels problèmes les chercheurs s'attaquent-ils à résoudre ?

Le premier problème est un goulot d'étranglement dans le conditionnement textuel (text conditioning). Lorsque la génération de la vidéo et celle du son reposent sur un même prompt textuel partagé, noté TV=TA dans l'article, une interférence apparaît entre les modalités : le signal destiné à la vidéo et celui destiné au son commencent à se gêner mutuellement. Un autre facteur complique la situation : l'écart entre les descriptions détaillées et riches sur lesquelles le modèle est entraîné et les prompts courts et concis que les utilisateurs rédigent réellement.

Le second problème est le manque de clarté sur le mécanisme de fusion des caractéristiques des différentes modalités le plus adapté à l'interaction entre vidéo et audio. Les auteurs précisent que, pour lever le premier de ces obstacles, le goulot d'étranglement du conditionnement textuel, ils proposent une nouvelle approche du traitement des conditions et de l'interaction entre modalités.

• Le champ de recherche s'appelle Text-to-Sounding-Video (T2SV)
• Objectif : générer la vidéo et le son simultanément à partir d'une seule description textuelle
• Deux problèmes clés non résolus sont identifiés : l'interférence entre modalités avec un texte partagé et le flou autour du mécanisme de fusion
• L'écart entre les descriptions d'entraînement détaillées et les prompts courts des utilisateurs est souligné à part

Pourquoi la tâche est-elle complexe ?

Contrairement à la génération classique de vidéo sans son, le T2SV exige que le modèle conserve le sens du texte dans deux modalités distinctes à la fois, visuelle et sonore, sans laisser un signal étouffer l'autre. C'est pourquoi, comme le notent les auteurs, utiliser simplement une description textuelle commune aux deux modalités ne suffit pas : cela provoque précisément l'interférence décrite dans l'article. Le problème s'aggrave du fait que les utilisateurs réels ne rédigent presque jamais des prompts aussi détaillés et structurés que ceux sur lesquels le modèle a été entraîné.

Une solution performante sur les données d'entraînement ne fonctionnera donc pas forcément aussi bien face à la requête courte d'un utilisateur final. Les auteurs voient dans cet écart entre la manière dont le modèle est entraîné et celle dont il est réellement utilisé l'un des principaux obstacles à une génération de vidéo sonorisée de qualité.

Ce que cela signifie

Les travaux d'Apple ML Research mettent en évidence des verrous techniques concrets sur la voie d'une génération de vidéo sonorisée à partir de texte réellement cohérente. Qu'un grand laboratoire de recherche qualifie explicitement ces problèmes fondamentaux de non résolus montre que l'industrie a encore plusieurs étapes à franchir avant de proposer des outils grand public pratiques de génération texte-vers-vidéo-sonorisée.

Questions fréquentes

Que signifie le terme Text-to-Sounding-Video ?

Il désigne la génération d'une vidéo accompagnée d'un son synchronisé directement à partir d'une description textuelle. Les deux sorties, vidéo et audio, doivent correspondre au texte lui-même, et pas seulement coïncider temporellement entre elles.

Quels problèmes freinent aujourd'hui ce type de génération ?

Les auteurs en citent deux : d'une part, l'interférence entre les signaux vidéo et audio lorsqu'ils partagent un conditionnement textuel commun, aggravée par l'écart entre les descriptions d'entraînement détaillées et les prompts courts des utilisateurs ; d'autre part, l'absence de mécanisme optimal clairement établi pour fusionner les caractéristiques des différentes modalités.