Le réseau de neurones de KAIST lit sur les lèvres et ne se trompe que sur 19,4 % des mots
Lire sur les lèvres est difficile : « p », « b » et « m » ont presque la même apparence, et les modèles classiques écrivent la phrase de gauche à droite sans pouvoir corriger une erreur commise au début. Le modèle de KAIST reconnaît d'abord les mots clairs comme « BAGS » et « TRIP », puis s'appuie sur eux pour distinguer « PACK » de « BACK ». Il se trompe sur 19,4 % des mots, soit environ un sur cinq, ce qui constitue le meilleur résultat parmi les méthodes entraînées uniquement sur LRS3. Lorsque le début d'un texte est ambigu, il vaut mieux générer d'abord les parties sûres.
Traité par IA depuis TechXplore AI ; édité par Hamidun News
Imaginez une vidéo sans son : une personne remue les lèvres, et vous essayez de savoir si elle a dit « pack » ou « back ». Pour une caméra comme pour un réseau de neurones, c'est presque indiscernable. Les chercheurs de KAIST (Korea Advanced Institute of Science and Technology) ont mis au point une solution : le modèle reconnaît d'abord les mots dont il est sûr, puis devine à partir d'eux les mots douteux.
Résultat, le système se trompe sur 19,4 % des mots. Il s'agit de la part des mots mal reconnus, omis ou ajoutés à tort, par rapport à une transcription de référence. En clair, à peu près un mot sur cinq.
Selon les auteurs, c'est le meilleur score parmi les méthodes qui utilisent uniquement le jeu de données LRS3 pour l'apprentissage supervisé.
Pourquoi il est si facile de se tromper en lecture labiale
Le problème principal tient au fait que des sons différents se ressemblent visuellement. En anglais, /p/, /b/ et /m/ sont presque indiscernables sans le son : « pack » et « back » se confondent presque à l'image. Un humain s'en sort grâce au contexte. Si la fin de la phrase parle de sacs et de voyage, il comprend qu'il s'agit de « faire ses bagages » et non de quelque chose de « derrière ».
Les modèles classiques ne procèdent pas ainsi. Ils génèrent le texte mot après mot, de gauche à droite, comme la saisie prédictive d'un téléphone. Si le premier mot est mal choisi, l'erreur se propage, et le modèle ne peut plus revenir en arrière pour la corriger. Le début de la phrase, justement le passage le plus ambigu, devient alors le maillon faible de toute la construction.
Comment fonctionne l'approche de KAIST
L'équipe du professeur Yong Man Ro a utilisé un modèle de langage à diffusion (DLLM). Son fonctionnement est différent : la phrase est d'abord représentée comme un ensemble de positions vides, masquées, que le modèle remplit en plusieurs passes. L'ordre de remplissage n'a pas à suivre la lecture de gauche à droite.
Les auteurs en tirent parti. Le modèle identifie d'abord les mots dont il est certain, c'est-à-dire ceux pour lesquels le mouvement des lèvres ne laisse aucun doute. Dans l'exemple du communiqué de presse, il s'agit de « BAGS » et « TRIP ». Il s'appuie ensuite sur ces mots pour déterminer, à partir du contexte situé de part et d'autre, ce qui occupait la position incertaine : « PACK » et non « BACK ». À chaque étape, le nombre de positions indéterminées diminue.
L'entraînement se déroule en deux étapes. D'abord, le modèle apprend à mettre en correspondance les mouvements des lèvres dans la vidéo avec le texte. Ensuite, il apprend séparément à estimer la longueur de la phrase. Lors de la reconnaissance, il déduit de la durée de la vidéo plusieurs longueurs plausibles, construit pour chacune une phrase candidate, puis sélectionne la meilleure. Ce choix repose sur deux critères : la vraisemblance de cette longueur et le degré de confiance du modèle dans ses propres mots.
Résultats et limites
Le modèle a été entraîné sur LRS3, qui compte 433 heures de vidéos accompagnées de transcriptions exactes. Selon les auteurs, le taux final de 19,4 % de mots erronés est le plus bas parmi les méthodes qui n'utilisent que LRS3 pour l'annotation. Cette précision compte : la comparaison se fait à volume de données annotées également modeste. Les systèmes entraînés sur des corpus beaucoup plus vastes n'entrent pas dans ce classement.
D'autres limites existent. Il s'agit d'un travail de recherche, publié sous forme de préprint sur arXiv, et non d'un produit finalisé. L'article ne dit rien de la vitesse de traitement, de la taille du modèle ni de son comportement dans des conditions de tournage difficiles (vue de profil, éclairage médiocre, bouche fermée). Les auteurs reconnaissent eux-mêmes que le modèle est encore lourd. Leur prochaine étape consiste à le réduire et à alléger ses calculs, afin de le faire fonctionner en temps réel sur des appareils portables et des robots, sans connexion internet.
Ce qu'il faut en retenir en pratique
Deux usages se dessinent. Le premier est la transcription de la parole là où le bruit la couvre, par exemple sur des sites industriels bruyants. Le second concerne les dispositifs d'assistance pour les personnes sourdes et malentendantes.
Pour ceux qui conçoivent des systèmes fondés sur des modèles de langage, la leçon générale est plus utile : l'ordre de génération peut aussi être configuré. Lorsqu'une tâche comporte des passages ambigus que le contexte ultérieur permet de lever, il est judicieux d'essayer les modèles à diffusion ou les schémas « d'abord le certain, ensuite le douteux ». Ro affirme qu'un contrôle souple de l'ordre de génération suffit à lever la limite fondamentale liée à l'ambiguïté visuelle. Pour vérifier cette thèse en production, il faudra des tests indépendants sur des données plus variées, ainsi que des mesures de latence sur du matériel réel.
- 27 oct. 2026KAIST apprend aux VLM à diffusion à ne pas regarder l'image : 35% du calcul pour 99,6% de la qualité
- 27 oct. 2026KAIST supprime la calibration du décodage MoE et accélère les blocs jusqu'à 2,69× par rapport à vLLM
- 27 oct. 2026Glas affine la reconnaissance vocale GigaAM-v3 : 87 % de termes IT corrects contre 44 %
- 23 oct. 2026FineSplat : patchs fins et double regroupement pour une synthèse de vues détaillée
Questions clés sur cet article
Pourquoi il est si facile de se tromper en lecture labiale?
Le problème principal tient au fait que des sons différents se ressemblent visuellement. En anglais, /p/, /b/ et /m/ sont presque indiscernables sans le son : « pack » et « back » se confondent presque à l'image. Un humain s'en sort grâce au contexte. Si la fin de la phrase parle de sacs et de voyage, il comprend qu'il s'agit de « faire ses bagages » et non de quelque chose de « derrière ». Les modèles classiques ne procèdent pas ainsi.
Comment fonctionne l'approche de KAIST?
L'équipe du professeur Yong Man Ro a utilisé un modèle de langage à diffusion (DLLM). Son fonctionnement est différent : la phrase est d'abord représentée comme un ensemble de positions vides, masquées, que le modèle remplit en plusieurs passes. L'ordre de remplissage n'a pas à suivre la lecture de gauche à droite. Les auteurs en tirent parti. Le modèle identifie d'abord les mots dont il est certain, c'est-à-dire ceux pour lesquels le mouvement des lèvres ne laisse aucun doute.
Que sait-on sur Résultats et limites ?
Le modèle a été entraîné sur LRS3, qui compte 433 heures de vidéos accompagnées de transcriptions exactes. Selon les auteurs, le taux final de 19,4 % de mots erronés est le plus bas parmi les méthodes qui n'utilisent que LRS3 pour l'annotation. Cette précision compte : la comparaison se fait à volume de données annotées également modeste. Les systèmes entraînés sur des corpus beaucoup plus vastes n'entrent pas dans ce classement. D'autres limites existent.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.