Apple ML Research apresenta método de geração de vídeo com áudio a partir de texto, o Text-to-Sounding-Video

Pesquisadores da Apple ML Research apresentaram um trabalho sobre geração de vídeo com áudio sincronizado a partir de uma descrição em texto. O artigo chama essa linha de pesquisa de Text-to-Sounding-Video (T2SV).

O que é Text-to-Sounding-Video

O T2SV é a tarefa de gerar, ao mesmo tempo, a sequência de vídeo e a trilha de áudio a partir de uma única descrição textual. As duas modalidades, vídeo e som, precisam estar alinhadas justamente com essa condição textual, e não apenas entre si. Até aqui, os pesquisadores trabalhavam principalmente no treinamento conjunto de vídeo e áudio, mas, segundo os autores, dois problemas centrais da área seguem sem solução.

Quais problemas os pesquisadores atacam

O primeiro problema é um gargalo no condicionamento por texto (text conditioning). Quando o mesmo prompt textual é usado para gerar vídeo e som, situação que o artigo denota como TV=TA, surge interferência entre as modalidades: o sinal do vídeo e o sinal do áudio passam a atrapalhar um ao outro. Para complicar, há uma distância entre as descrições longas e ricas em detalhes usadas no treinamento do modelo e os prompts curtos e sucintos que os usuários realmente escrevem.

O segundo problema é a falta de clareza sobre qual mecanismo de fusão (fusion) de features de diferentes modalidades é o ideal para a interação entre vídeo e áudio. Os autores observam que, para resolver o primeiro desses problemas, o gargalo no condicionamento por texto, eles propõem uma nova abordagem para o processamento das condições e para a interação entre modalidades.

• A linha de pesquisa se chama Text-to-Sounding-Video (T2SV)
• O objetivo é gerar vídeo e áudio simultaneamente a partir de uma única descrição textual
• Foram apontados dois problemas centrais sem solução: a interferência entre modalidades com texto compartilhado e a indefinição sobre o mecanismo de fusion
• Também foi destacada a distância entre as descrições detalhadas do treinamento e os prompts curtos dos usuários

Por que a tarefa é difícil

Diferentemente da geração comum de vídeo sem som, o T2SV exige que o modelo preserve o sentido do texto em duas modalidades distintas ao mesmo tempo, a visual e a sonora, sem deixar que um sinal abafe o outro. Por isso, como apontam os autores, simplesmente usar uma descrição textual compartilhada para as duas modalidades não basta: isso provoca justamente a interferência descrita no artigo. O problema se agrava porque usuários reais quase nunca escrevem prompts tão detalhados e estruturados quanto os usados no treinamento do modelo.

Ou seja, uma solução que funciona bem nos dados de treinamento não necessariamente vai funcionar tão bem com o pedido curto de um usuário final. Os autores apontam essa distância entre a forma como o modelo é treinado e a forma como ele é de fato usado como um dos principais obstáculos para uma geração de vídeo com áudio de qualidade.

O que isso significa

O trabalho da Apple ML Research mapeia barreiras técnicas concretas para uma geração de vídeo com áudio a partir de texto que seja de fato coerente. O fato de um grande laboratório de pesquisa admitir abertamente que problemas fundamentais seguem sem solução mostra que a indústria ainda tem alguns passos pela frente até chegar a ferramentas práticas e de uso massivo de texto para vídeo com áudio.

Perguntas frequentes

O que significa o termo Text-to-Sounding-Video?

É a geração de vídeo junto com áudio sincronizado diretamente a partir de uma descrição textual. Os dois sinais de saída, vídeo e áudio, precisam corresponder ao texto, e não apenas coincidir no tempo um com o outro.

Quais problemas atrapalham esse tipo de geração hoje?

Os autores apontam dois: a interferência entre os sinais de vídeo e de áudio quando se usa uma condição textual compartilhada, agravada pela distância entre as descrições detalhadas do treinamento e os prompts curtos dos usuários; e a falta de um mecanismo claro e ideal de fusão de features de diferentes modalidades.