Red neuronal de KAIST lee los labios y se equivoca solo en el 19,4 % de las palabras
Leer los labios es difícil: «p», «b» y «m» se ven casi igual, y los modelos habituales escriben la frase de izquierda a derecha, sin poder corregir un fallo temprano. El modelo de KAIST reconoce primero palabras claras como «BAGS» y «TRIP» y, a partir de ellas, distingue «PACK» de «BACK». Se equivoca en el 19,4 % de las palabras, es decir, en aproximadamente una de cada cinco, el mejor resultado entre los métodos entrenados solo con LRS3. Si el inicio del texto es ambiguo, conviene generar primero las partes seguras.
Procesado por IA desde TechXplore AI; editado por Hamidun News
Imagine que mira un vídeo sin sonido: una persona mueve los labios y usted intenta entender si dijo «pack» o «back». Para una cámara y para una red neuronal, esas dos palabras son casi indistinguibles. Los investigadores del KAIST (Instituto Avanzado de Ciencia y Tecnología de Corea) han ideado la forma de resolver este problema: el modelo primero reconoce las palabras de las que está seguro y después adivina las dudosas a partir de ellas.
Como resultado, el sistema se equivoca en el 19,4 % de las palabras. Esa es la proporción de palabras reconocidas de forma incorrecta, omitidas o añadidas de más al compararlas con la transcripción de referencia. Dicho de otro modo, aproximadamente una de cada cinco palabras.
Según los autores, es el mejor resultado entre los métodos que, para el entrenamiento supervisado, utilizan únicamente el conjunto LRS3.
Por qué es tan fácil equivocarse al leer los labios
El problema principal es que sonidos distintos se ven igual. En inglés, /p/, /b/ y /m/ son casi indistinguibles sin audio: «pack» y «back» en un vídeo son prácticamente idénticas. Una persona se apoya en el contexto. Si al final de la frase se habla de bolsas y de un viaje, entenderá que se refería a «empacar» y no a algo «trasero».
Los modelos habituales no hacen eso. Generan el texto palabra por palabra, de izquierda a derecha, igual que el autocompletado del teléfono. Si la primera palabra se elige mal, el error arrastra al resto de la frase, y el modelo ya no puede volver atrás para corregirla. El inicio de la frase, que es el punto más ambiguo, se convierte así en el eslabón débil de toda la construcción.
Cómo funciona el enfoque del KAIST
El equipo del profesor Yong Man Ro utilizó un modelo de lenguaje de difusión (DLLM). Su funcionamiento es distinto: la frase se representa primero como un conjunto de posiciones vacías enmascaradas, y el modelo las rellena en varias pasadas. El orden de relleno no tiene por qué ir de izquierda a derecha.
Los autores aprovecharon precisamente esa característica. Primero, el modelo identifica las palabras de las que está seguro, es decir, aquellas en las que el movimiento de los labios es inequívoco. En el ejemplo del comunicado de prensa, son «BAGS» y «TRIP». Después las usa como apoyo y, con el contexto a ambos lados, decide qué había en la posición dudosa: «PACK» y no «BACK». En cada paso, quedan menos posiciones indeterminadas.
El entrenamiento se dividió en dos etapas. Primero, el modelo aprende a relacionar los movimientos de los labios en el vídeo con el texto. Luego, por separado, aprende a estimar la longitud de la frase. Durante el reconocimiento, a partir de la duración del clip, el modelo baraja varias longitudes plausibles, genera para cada una una frase candidata y elige la mejor. La elección se basa en dos indicadores: cuán probable es esa longitud y cuánta confianza tiene el modelo en sus propias palabras.
Qué se ha conseguido y cuáles son los límites
El modelo se entrenó con LRS3, que reúne 433 horas de vídeo con transcripciones exactas. Según los autores, el 19,4 % de palabras erróneas es el valor más bajo entre los métodos que utilizan solo LRS3 para el etiquetado. La aclaración es importante: la comparación se hace dentro de un volumen igualmente modesto de datos etiquetados. Los sistemas entrenados con conjuntos mucho mayores no entran en esa comparación.
Hay además otras limitaciones. Se trata de un trabajo de investigación publicado como preprint en arXiv, no de un producto terminado. El texto no dice nada sobre la velocidad, el tamaño del modelo ni el comportamiento en condiciones de grabación difíciles (perfil lateral, mala iluminación, boca cerrada). Los propios autores reconocen que el modelo todavía es pesado. Su siguiente paso es reducirlo y abaratar el cálculo para poder ejecutarlo en tiempo real en dispositivos portátiles y robots, sin conexión a internet.
Qué conviene llevarse a la práctica
Hay dos escenarios de aplicación claros. El primero es transcribir el habla donde el ruido la tapa, por ejemplo, en instalaciones industriales con maquinaria muy ruidosa. El segundo son los dispositivos de asistencia para personas sordas y con discapacidad auditiva.
Para quienes desarrollan sistemas basados en modelos de lenguaje, la lección general es más útil: también se puede configurar el orden de generación. Si una tarea tiene pasajes ambiguos y el contexto posterior los aclara, conviene probar modelos de difusión o esquemas de «primero lo seguro, después lo dudoso». El propio Ro sostiene que el control flexible del orden de generación, por sí solo, elimina una limitación fundamental asociada a la ambigüedad visual. Para comprobar esa tesis en producción harán falta pruebas independientes con datos más variados y mediciones de latencia en hardware real.
- 27 oct 2026KAIST enseña a los VLM de difusión a no mirar la imagen: 35% del cómputo con 99,6% de la calidad
- 27 oct 2026KAIST elimina la calibración del decodificado MoE y acelera los bloques hasta 2,69× frente a vLLM
- 27 oct 2026Glas reentrena el reconocimiento de voz GigaAM-v3: los términos de IT salen bien en el 87% de los casos, frente al 44%
- 19 nov 2026Reson8 abre un modelo de voz 60 veces más pequeño que el de NVIDIA: 7,86% de errores por palabra frente a 7,78%
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué es tan fácil equivocarse al leer los labios?
El problema principal es que sonidos distintos se ven igual. En inglés, /p/, /b/ y /m/ son casi indistinguibles sin audio: «pack» y «back» en un vídeo son prácticamente idénticas. Una persona se apoya en el contexto. Si al final de la frase se habla de bolsas y de un viaje, entenderá que se refería a «empacar» y no a algo «trasero». Los modelos habituales no hacen eso. Generan el texto palabra por palabra, de izquierda a derecha, igual que el autocompletado del teléfono.
Cómo funciona el enfoque del KAIST?
El equipo del profesor Yong Man Ro utilizó un modelo de lenguaje de difusión (DLLM). Su funcionamiento es distinto: la frase se representa primero como un conjunto de posiciones vacías enmascaradas, y el modelo las rellena en varias pasadas. El orden de relleno no tiene por qué ir de izquierda a derecha. Los autores aprovecharon precisamente esa característica. Primero, el modelo identifica las palabras de las que está seguro, es decir, aquellas en las que el movimiento de los labios es inequívoco.
¿Qué se sabe sobre Qué se ha conseguido y cuáles son los límites?
El modelo se entrenó con LRS3, que reúne 433 horas de vídeo con transcripciones exactas. Según los autores, el 19,4 % de palabras erróneas es el valor más bajo entre los métodos que utilizan solo LRS3 para el etiquetado. La aclaración es importante: la comparación se hace dentro de un volumen igualmente modesto de datos etiquetados. Los sistemas entrenados con conjuntos mucho mayores no entran en esa comparación. Hay además otras limitaciones.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.