Rede neural da KAIST lê lábios e erra apenas 19,4% das palavras
Ler lábios é difícil: "p", "b" e "m" parecem quase idênticos, e os modelos comuns escrevem a frase da esquerda para a direita e não conseguem corrigir um erro cometido no início. O modelo do KAIST reconhece primeiro palavras claras, como "BAGS" e "TRIP", e com base nelas distingue "PACK" de "BACK". Ele erra em 19,4% das palavras, ou seja, aproximadamente uma em cada cinco, o melhor resultado entre os métodos treinados apenas com o LRS3. Quando o início de um texto é ambíguo, vale gerar primeiro as partes que o modelo tem mais certeza.
Processado por IA de TechXplore AI; editado por Hamidun News
Imagine assistir a um vídeo sem som: a pessoa mexe os lábios, e você tenta entender se ela disse "pack" ou "back". Para uma câmera e para uma rede neural, isso é quase indistinguível. Pesquisadores do KAIST (Instituto Coreano Avançado de Ciência e Tecnologia) criaram uma forma de lidar com esse problema: o modelo primeiro reconhece as palavras em que está confiante e, em seguida, deduz as duvidosas a partir delas.
Como resultado, o sistema erra em 19,4% das palavras. Essa é a fração de palavras reconhecidas incorretamente, omitidas ou acrescentadas por engano, na comparação com a transcrição de referência. Em outras palavras, cerca de uma palavra em cada cinco.
Segundo os autores, esse é o melhor resultado entre os métodos que usam apenas o conjunto LRS3 para o treinamento supervisionado.
Por que é tão fácil errar ao ler lábios
O principal problema é que sons diferentes parecem iguais. Em inglês, /p/, /b/ e /m/ são quase indistinguíveis sem áudio: "pack" e "back" são praticamente idênticos no vídeo. Uma pessoa dá conta disso com base no contexto. Se o fim da frase fala de malas e viagem, ela entende que a palavra era "empacotar", e não algo "de trás".
Os modelos tradicionais não fazem isso. Eles geram o texto uma palavra por vez, da esquerda para a direita, como o autocompletar do celular. Se a primeira palavra for escolhida de forma errada, o erro se propaga e o modelo não consegue voltar atrás para corrigi-lo. O início da frase, justamente o trecho mais ambíguo, vira o elo mais fraco de toda a construção.
Como funciona a abordagem do KAIST
A equipe do professor Yong Man Ro usou um modelo de linguagem por difusão (DLLM). Ele funciona de outro jeito: a frase é representada primeiro como um conjunto de posições vazias, mascaradas, que o modelo preenche em várias passagens. A ordem de preenchimento não precisa seguir da esquerda para a direita.
Esse é o recurso que os autores exploraram. Primeiro, o modelo identifica as palavras em que está confiante, ou seja, aquelas cujo movimento dos lábios é inequívoco. No exemplo do comunicado de imprensa, são "BAGS" e "TRIP". Depois, usa essas palavras como apoio e, com base no contexto dos dois lados, decide o que estava na posição duvidosa: "PACK", e não "BACK". A cada etapa, restam menos posições indefinidas.
O treinamento foi dividido em duas etapas. Primeiro, o modelo aprende a associar os movimentos dos lábios no vídeo ao texto. Depois, aprende separadamente a estimar o comprimento da frase. Na hora de reconhecer, ele estima, a partir da duração do vídeo, vários comprimentos plausíveis, monta para cada um uma frase candidata e escolhe a melhor. A escolha se baseia em dois indicadores: quão provável é aquele comprimento e quão confiante o modelo está nas próprias palavras.
O que foi alcançado e onde estão os limites
O modelo foi treinado no LRS3, que reúne 433 horas de vídeos com transcrições precisas. Os 19,4% de palavras erradas são, segundo os autores, o índice mais baixo entre os métodos que usam apenas o LRS3 para a anotação. A ressalva é importante: a comparação se dá dentro de um mesmo volume modesto de dados rotulados. Sistemas treinados com conjuntos de dados muito maiores não entram nessa comparação.
Há outras limitações. Trata-se de um trabalho de pesquisa, publicado como pré-impressão no arXiv, e não de um produto pronto. O material não traz informações sobre a velocidade de operação, o tamanho do modelo nem o comportamento em condições ruins de filmagem (perfil lateral, iluminação precária, boca parcialmente coberta). Os próprios autores reconhecem que o modelo ainda é pesado. O próximo passo deles é reduzi-lo e barateá-lo computacionalmente, para que rode em dispositivos vestíveis e robôs sem internet e em tempo real.
O que levar para a prática
Há dois cenários de aplicação imediatos. O primeiro é a transcrição de fala onde o ruído a abafa, por exemplo em plantas industriais com máquinas barulhentas. O segundo são dispositivos assistivos para pessoas surdas e com deficiência auditiva.
Para quem desenvolve sistemas com modelos de linguagem, a lição mais útil é mais geral: a ordem de geração também pode ser configurada. Se a tarefa tem trechos ambíguos que o contexto posterior ajuda a esclarecer, vale testar modelos de difusão ou esquemas do tipo "primeiro o que é certo, depois o que é duvidoso". O próprio Ro afirma que o controle flexível da ordem de geração, sozinho, elimina uma limitação fundamental ligada à ambiguidade visual. Para verificar essa tese em produção, são necessários testes independentes com dados mais diversos e medições de latência em hardware real.
- 27 de out. de 2026KAIST ensina VLMs de difusão a não olhar para a imagem: 35% do cálculo com 99,6% da qualidade
- 27 de out. de 2026KAIST elimina a calibração do decoding em MoE e acelera blocos em até 2,69× frente ao vLLM
- 27 de out. de 2026Glas faz fine-tuning do reconhecimento de fala GigaAM-v3: termos de TI corretos em 87% dos casos, contra 44%
- 19 de nov. de 2026Reson8 abre modelo de fala 60 vezes menor que o da NVIDIA: 7,86% de erros em palavras contra 7,78%
Perguntas frequentes sobre a notícia
Por que é tão fácil errar ao ler lábios?
O principal problema é que sons diferentes parecem iguais. Em inglês, /p/, /b/ e /m/ são quase indistinguíveis sem áudio: "pack" e "back" são praticamente idênticos no vídeo. Uma pessoa dá conta disso com base no contexto. Se o fim da frase fala de malas e viagem, ela entende que a palavra era "empacotar", e não algo "de trás". Os modelos tradicionais não fazem isso. Eles geram o texto uma palavra por vez, da esquerda para a direita, como o autocompletar do celular.
Como funciona a abordagem do KAIST?
A equipe do professor Yong Man Ro usou um modelo de linguagem por difusão (DLLM). Ele funciona de outro jeito: a frase é representada primeiro como um conjunto de posições vazias, mascaradas, que o modelo preenche em várias passagens. A ordem de preenchimento não precisa seguir da esquerda para a direita. Esse é o recurso que os autores exploraram. Primeiro, o modelo identifica as palavras em que está confiante, ou seja, aquelas cujo movimento dos lábios é inequívoco.
O que foi alcançado e onde estão os limites?
O modelo foi treinado no LRS3, que reúne 433 horas de vídeos com transcrições precisas. Os 19,4% de palavras erradas são, segundo os autores, o índice mais baixo entre os métodos que usam apenas o LRS3 para a anotação. A ressalva é importante: a comparação se dá dentro de um mesmo volume modesto de dados rotulados. Sistemas treinados com conjuntos de dados muito maiores não entram nessa comparação. Há outras limitações.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.