Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarTechXplore AI→ original

Red neuronal de KAIST lee los labios y se equivoca solo en el 19,4 % de las palabras

Leer los labios es difícil: «p», «b» y «m» se ven casi igual, y los modelos habituales escriben la frase de izquierda a derecha, sin poder corregir un fallo temprano. El modelo de KAIST reconoce primero palabras claras como «BAGS» y «TRIP» y, a partir de ellas, distingue «PACK» de «BACK». Se equivoca en el 19,4 % de las palabras, es decir, en aproximadamente una de cada cinco, el mejor resultado entre los métodos entrenados solo con LRS3. Si el inicio del texto es ambiguo, conviene generar primero las partes seguras.

Procesado por IA desde TechXplore AI; editado por Hamidun News
Red neuronal de KAIST lee los labios y se equivoca solo en el 19,4 % de las palabras
Fuente: TechXplore AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalTechXplore AI ↗
Editor jefe
LRS3conjunto de 433 horas de vídeo con transcripciones exactas
Dato clave #2El modelo prueba varias longitudes de frase y se queda con la opción más fiable
Dato clave #3El siguiente paso es reducir el modelo y ejecutarlo sin conexión en dispositivos portátiles

Imagine que mira un vídeo sin sonido: una persona mueve los labios y usted intenta entender si dijo «pack» o «back». Para una cámara y para una red neuronal, esas dos palabras son casi indistinguibles. Los investigadores del KAIST (Instituto Avanzado de Ciencia y Tecnología de Corea) han ideado la forma de resolver este problema: el modelo primero reconoce las palabras de las que está seguro y después adivina las dudosas a partir de ellas.

Como resultado, el sistema se equivoca en el 19,4 % de las palabras. Esa es la proporción de palabras reconocidas de forma incorrecta, omitidas o añadidas de más al compararlas con la transcripción de referencia. Dicho de otro modo, aproximadamente una de cada cinco palabras.

Según los autores, es el mejor resultado entre los métodos que, para el entrenamiento supervisado, utilizan únicamente el conjunto LRS3.

Por qué es tan fácil equivocarse al leer los labios

El problema principal es que sonidos distintos se ven igual. En inglés, /p/, /b/ y /m/ son casi indistinguibles sin audio: «pack» y «back» en un vídeo son prácticamente idénticas. Una persona se apoya en el contexto. Si al final de la frase se habla de bolsas y de un viaje, entenderá que se refería a «empacar» y no a algo «trasero».

Los modelos habituales no hacen eso. Generan el texto palabra por palabra, de izquierda a derecha, igual que el autocompletado del teléfono. Si la primera palabra se elige mal, el error arrastra al resto de la frase, y el modelo ya no puede volver atrás para corregirla. El inicio de la frase, que es el punto más ambiguo, se convierte así en el eslabón débil de toda la construcción.

Cómo funciona el enfoque del KAIST

El equipo del profesor Yong Man Ro utilizó un modelo de lenguaje de difusión (DLLM). Su funcionamiento es distinto: la frase se representa primero como un conjunto de posiciones vacías enmascaradas, y el modelo las rellena en varias pasadas. El orden de relleno no tiene por qué ir de izquierda a derecha.

Los autores aprovecharon precisamente esa característica. Primero, el modelo identifica las palabras de las que está seguro, es decir, aquellas en las que el movimiento de los labios es inequívoco. En el ejemplo del comunicado de prensa, son «BAGS» y «TRIP». Después las usa como apoyo y, con el contexto a ambos lados, decide qué había en la posición dudosa: «PACK» y no «BACK». En cada paso, quedan menos posiciones indeterminadas.

El entrenamiento se dividió en dos etapas. Primero, el modelo aprende a relacionar los movimientos de los labios en el vídeo con el texto. Luego, por separado, aprende a estimar la longitud de la frase. Durante el reconocimiento, a partir de la duración del clip, el modelo baraja varias longitudes plausibles, genera para cada una una frase candidata y elige la mejor. La elección se basa en dos indicadores: cuán probable es esa longitud y cuánta confianza tiene el modelo en sus propias palabras.

Qué se ha conseguido y cuáles son los límites

El modelo se entrenó con LRS3, que reúne 433 horas de vídeo con transcripciones exactas. Según los autores, el 19,4 % de palabras erróneas es el valor más bajo entre los métodos que utilizan solo LRS3 para el etiquetado. La aclaración es importante: la comparación se hace dentro de un volumen igualmente modesto de datos etiquetados. Los sistemas entrenados con conjuntos mucho mayores no entran en esa comparación.

Hay además otras limitaciones. Se trata de un trabajo de investigación publicado como preprint en arXiv, no de un producto terminado. El texto no dice nada sobre la velocidad, el tamaño del modelo ni el comportamiento en condiciones de grabación difíciles (perfil lateral, mala iluminación, boca cerrada). Los propios autores reconocen que el modelo todavía es pesado. Su siguiente paso es reducirlo y abaratar el cálculo para poder ejecutarlo en tiempo real en dispositivos portátiles y robots, sin conexión a internet.

Qué conviene llevarse a la práctica

Hay dos escenarios de aplicación claros. El primero es transcribir el habla donde el ruido la tapa, por ejemplo, en instalaciones industriales con maquinaria muy ruidosa. El segundo son los dispositivos de asistencia para personas sordas y con discapacidad auditiva.

Para quienes desarrollan sistemas basados en modelos de lenguaje, la lección general es más útil: también se puede configurar el orden de generación. Si una tarea tiene pasajes ambiguos y el contexto posterior los aclara, conviene probar modelos de difusión o esquemas de «primero lo seguro, después lo dudoso». El propio Ro sostiene que el control flexible del orden de generación, por sí solo, elimina una limitación fundamental asociada a la ambigüedad visual. Para comprobar esa tesis en producción harán falta pruebas independientes con datos más variados y mediciones de latencia en hardware real.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Por qué es tan fácil equivocarse al leer los labios?

El problema principal es que sonidos distintos se ven igual. En inglés, /p/, /b/ y /m/ son casi indistinguibles sin audio: «pack» y «back» en un vídeo son prácticamente idénticas. Una persona se apoya en el contexto. Si al final de la frase se habla de bolsas y de un viaje, entenderá que se refería a «empacar» y no a algo «trasero». Los modelos habituales no hacen eso. Generan el texto palabra por palabra, de izquierda a derecha, igual que el autocompletado del teléfono.

Cómo funciona el enfoque del KAIST?

El equipo del profesor Yong Man Ro utilizó un modelo de lenguaje de difusión (DLLM). Su funcionamiento es distinto: la frase se representa primero como un conjunto de posiciones vacías enmascaradas, y el modelo las rellena en varias pasadas. El orden de relleno no tiene por qué ir de izquierda a derecha. Los autores aprovecharon precisamente esa característica. Primero, el modelo identifica las palabras de las que está seguro, es decir, aquellas en las que el movimiento de los labios es inequívoco.

¿Qué se sabe sobre Qué se ha conseguido y cuáles son los límites?

El modelo se entrenó con LRS3, que reúne 433 horas de vídeo con transcripciones exactas. Según los autores, el 19,4 % de palabras erróneas es el valor más bajo entre los métodos que utilizan solo LRS3 para el etiquetado. La aclaración es importante: la comparación se hace dentro de un volumen igualmente modesto de datos etiquetados. Los sistemas entrenados con conjuntos mucho mayores no entran en esa comparación. Hay además otras limitaciones.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…