Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarTechXplore AI→ original

Rede neural da KAIST lê lábios e erra apenas 19,4% das palavras

Ler lábios é difícil: "p", "b" e "m" parecem quase idênticos, e os modelos comuns escrevem a frase da esquerda para a direita e não conseguem corrigir um erro cometido no início. O modelo do KAIST reconhece primeiro palavras claras, como "BAGS" e "TRIP", e com base nelas distingue "PACK" de "BACK". Ele erra em 19,4% das palavras, ou seja, aproximadamente uma em cada cinco, o melhor resultado entre os métodos treinados apenas com o LRS3. Quando o início de um texto é ambíguo, vale gerar primeiro as partes que o modelo tem mais certeza.

Processado por IA de TechXplore AI; editado por Hamidun News
Rede neural da KAIST lê lábios e erra apenas 19,4% das palavras
Fonte: TechXplore AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTechXplore AI ↗
Editor-chefe
Dado-chave #1LRS3 é um conjunto de 433 horas de vídeos com transcrições precisas
Dado-chave #2O modelo testa várias durações de frase e escolhe a opção mais confiável
Dado-chave #3O próximo passo é reduzir o modelo e fazê-lo rodar offline em dispositivos vestíveis

Imagine assistir a um vídeo sem som: a pessoa mexe os lábios, e você tenta entender se ela disse "pack" ou "back". Para uma câmera e para uma rede neural, isso é quase indistinguível. Pesquisadores do KAIST (Instituto Coreano Avançado de Ciência e Tecnologia) criaram uma forma de lidar com esse problema: o modelo primeiro reconhece as palavras em que está confiante e, em seguida, deduz as duvidosas a partir delas.

Como resultado, o sistema erra em 19,4% das palavras. Essa é a fração de palavras reconhecidas incorretamente, omitidas ou acrescentadas por engano, na comparação com a transcrição de referência. Em outras palavras, cerca de uma palavra em cada cinco.

Segundo os autores, esse é o melhor resultado entre os métodos que usam apenas o conjunto LRS3 para o treinamento supervisionado.

Por que é tão fácil errar ao ler lábios

O principal problema é que sons diferentes parecem iguais. Em inglês, /p/, /b/ e /m/ são quase indistinguíveis sem áudio: "pack" e "back" são praticamente idênticos no vídeo. Uma pessoa dá conta disso com base no contexto. Se o fim da frase fala de malas e viagem, ela entende que a palavra era "empacotar", e não algo "de trás".

Os modelos tradicionais não fazem isso. Eles geram o texto uma palavra por vez, da esquerda para a direita, como o autocompletar do celular. Se a primeira palavra for escolhida de forma errada, o erro se propaga e o modelo não consegue voltar atrás para corrigi-lo. O início da frase, justamente o trecho mais ambíguo, vira o elo mais fraco de toda a construção.

Como funciona a abordagem do KAIST

A equipe do professor Yong Man Ro usou um modelo de linguagem por difusão (DLLM). Ele funciona de outro jeito: a frase é representada primeiro como um conjunto de posições vazias, mascaradas, que o modelo preenche em várias passagens. A ordem de preenchimento não precisa seguir da esquerda para a direita.

Esse é o recurso que os autores exploraram. Primeiro, o modelo identifica as palavras em que está confiante, ou seja, aquelas cujo movimento dos lábios é inequívoco. No exemplo do comunicado de imprensa, são "BAGS" e "TRIP". Depois, usa essas palavras como apoio e, com base no contexto dos dois lados, decide o que estava na posição duvidosa: "PACK", e não "BACK". A cada etapa, restam menos posições indefinidas.

O treinamento foi dividido em duas etapas. Primeiro, o modelo aprende a associar os movimentos dos lábios no vídeo ao texto. Depois, aprende separadamente a estimar o comprimento da frase. Na hora de reconhecer, ele estima, a partir da duração do vídeo, vários comprimentos plausíveis, monta para cada um uma frase candidata e escolhe a melhor. A escolha se baseia em dois indicadores: quão provável é aquele comprimento e quão confiante o modelo está nas próprias palavras.

O que foi alcançado e onde estão os limites

O modelo foi treinado no LRS3, que reúne 433 horas de vídeos com transcrições precisas. Os 19,4% de palavras erradas são, segundo os autores, o índice mais baixo entre os métodos que usam apenas o LRS3 para a anotação. A ressalva é importante: a comparação se dá dentro de um mesmo volume modesto de dados rotulados. Sistemas treinados com conjuntos de dados muito maiores não entram nessa comparação.

Há outras limitações. Trata-se de um trabalho de pesquisa, publicado como pré-impressão no arXiv, e não de um produto pronto. O material não traz informações sobre a velocidade de operação, o tamanho do modelo nem o comportamento em condições ruins de filmagem (perfil lateral, iluminação precária, boca parcialmente coberta). Os próprios autores reconhecem que o modelo ainda é pesado. O próximo passo deles é reduzi-lo e barateá-lo computacionalmente, para que rode em dispositivos vestíveis e robôs sem internet e em tempo real.

O que levar para a prática

Há dois cenários de aplicação imediatos. O primeiro é a transcrição de fala onde o ruído a abafa, por exemplo em plantas industriais com máquinas barulhentas. O segundo são dispositivos assistivos para pessoas surdas e com deficiência auditiva.

Para quem desenvolve sistemas com modelos de linguagem, a lição mais útil é mais geral: a ordem de geração também pode ser configurada. Se a tarefa tem trechos ambíguos que o contexto posterior ajuda a esclarecer, vale testar modelos de difusão ou esquemas do tipo "primeiro o que é certo, depois o que é duvidoso". O próprio Ro afirma que o controle flexível da ordem de geração, sozinho, elimina uma limitação fundamental ligada à ambiguidade visual. Para verificar essa tese em produção, são necessários testes independentes com dados mais diversos e medições de latência em hardware real.

História

Perguntas frequentes sobre a notícia

Por que é tão fácil errar ao ler lábios?

O principal problema é que sons diferentes parecem iguais. Em inglês, /p/, /b/ e /m/ são quase indistinguíveis sem áudio: "pack" e "back" são praticamente idênticos no vídeo. Uma pessoa dá conta disso com base no contexto. Se o fim da frase fala de malas e viagem, ela entende que a palavra era "empacotar", e não algo "de trás". Os modelos tradicionais não fazem isso. Eles geram o texto uma palavra por vez, da esquerda para a direita, como o autocompletar do celular.

Como funciona a abordagem do KAIST?

A equipe do professor Yong Man Ro usou um modelo de linguagem por difusão (DLLM). Ele funciona de outro jeito: a frase é representada primeiro como um conjunto de posições vazias, mascaradas, que o modelo preenche em várias passagens. A ordem de preenchimento não precisa seguir da esquerda para a direita. Esse é o recurso que os autores exploraram. Primeiro, o modelo identifica as palavras em que está confiante, ou seja, aquelas cujo movimento dos lábios é inequívoco.

O que foi alcançado e onde estão os limites?

O modelo foi treinado no LRS3, que reúne 433 horas de vídeos com transcrições precisas. Os 19,4% de palavras erradas são, segundo os autores, o índice mais baixo entre os métodos que usam apenas o LRS3 para a anotação. A ressalva é importante: a comparação se dá dentro de um mesmo volume modesto de dados rotulados. Sistemas treinados com conjuntos de dados muito maiores não entram nessa comparação. Há outras limitações.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…