Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарTechXplore AI→ оригинал

Нейросеть KAIST читает по губам и ошибается лишь в 19,4% слов

По губам трудно читать: «p», «b» и «m» выглядят почти одинаково, а обычные модели пишут фразу слева направо и не могут поправить ранний промах. Модель KAIST сначала распознаёт ясные слова вроде «BAGS» и «TRIP», а по ним отличает «PACK» от «BACK». Она ошибается в 19,4% слов, то есть примерно в одном из пяти, — лучший результат среди методов, обученных только на LRS3. Если начало текста неоднозначно, стоит генерировать сначала уверенные части.

AI-обработка оригинала TechXplore AI; редакция Hamidun News
Нейросеть KAIST читает по губам и ошибается лишь в 19,4% слов
Источник: TechXplore AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTechXplore AI ↗
Главный редактор
Ключевой факт #1LRS3 — набор из 433 часов видео с точными расшифровками
Ключевой факт #2Модель перебирает несколько длин фразы и берёт самый надёжный вариант
Ключевой факт #3Дальше — уменьшить модель и запустить на носимых устройствах офлайн

Представьте, что вы смотрите видео без звука: человек шевелит губами, а вы пытаетесь понять, сказал он «pack» или «back». Для камеры и нейросети это почти неразличимо. Исследователи из KAIST (Корейский передовой институт науки и технологий) придумали, как с этим справляться: модель сначала распознаёт слова, в которых уверена, а затем по ним угадывает сомнительные. В результате система ошибается в 19,4% слов. Это доля слов, которые распознаны неверно, пропущены или добавлены лишними, если сравнить с эталонной расшифровкой. Проще говоря, примерно одно слово из пяти. По данным авторов, это лучший показатель среди методов, которые для обучения с разметкой используют только набор LRS3.

Почему по губам так легко ошибиться

Главная проблема в том, что разные звуки выглядят одинаково. В английском /p/, /b/ и /m/ почти неразличимы без звука: «pack» и «back» на видео практически совпадают. Человек справляется за счёт контекста. Если в конце фразы речь о сумках и поездке, он поймёт, что имелось в виду «упаковать», а не что-то «заднее».

Привычные модели так не умеют. Они генерируют текст по одному слову слева направо, как автодополнение в телефоне. Если первое слово выбрано неверно, ошибка тянется дальше, а вернуться и исправить его модель уже не может. Начало фразы, самое неоднозначное, становится слабым звеном всей конструкции.

Как работает подход KAIST

Команда профессора Ён Ман Ро использовала диффузионную языковую модель (DLLM). Она устроена иначе: фраза сначала представлена как набор пустых, замаскированных позиций, и модель заполняет их за несколько проходов. Порядок заполнения не обязан идти слева направо.

Этим авторы и воспользовались. Сначала модель определяет слова, в которых уверена, то есть те, где движения губ однозначны. В примере из пресс-релиза это «BAGS» и «TRIP». Затем она использует их как опору и по контексту с обеих сторон решает, что стояло в сомнительной позиции: «PACK», а не «BACK». На каждом шаге неопределённых мест становится меньше.

Обучение разделили на два этапа. Сначала модель учится сопоставлять движения губ на видео с текстом. Затем отдельно учится оценивать длину предложения. При распознавании она по длительности ролика прикидывает несколько правдоподобных длин, для каждой собирает свою фразу-кандидата и выбирает лучшую. Выбор опирается на два показателя: насколько вероятна такая длина и насколько модель уверена в собственных словах.

Что получилось и где пределы

Модель обучали на LRS3, где собрано 433 часа видео с точными расшифровками. Итоговые 19,4% ошибочных слов, по данным авторов, самый низкий показатель среди методов, которые используют для разметки только LRS3. Оговорка важна: сравнение идёт в рамках одинаково скромного объёма размеченных данных. Системы, обученные на гораздо больших массивах, в этот зачёт не входят.

Есть и другие ограничения. Это исследовательская работа, опубликованная как препринт на arXiv, а не готовый продукт. О скорости работы, размере модели и поведении в плохих условиях съёмки (боковой ракурс, плохой свет, закрытый рот) в материале ничего не сказано. Сами авторы признают, что модель пока тяжёлая. Следующий шаг у них — уменьшить её и удешевить вычисления, чтобы запускать на носимых устройствах и роботах без интернета и в реальном времени.

Что из этого вынести практику

Прикладных сценариев два. Первый — расшифровка речи там, где её заглушает шум, например на промышленных площадках с громкими станками. Второй — вспомогательные устройства для глухих и слабослышащих людей.

Для тех, кто строит системы на языковых моделях, полезнее общий урок: порядок генерации тоже можно настраивать. Если у задачи есть неоднозначные места, а контекст дальше по тексту их проясняет, стоит попробовать диффузионные модели или схемы «сначала уверенное, потом сомнительное». Сам Ро говорит, что гибкое управление порядком генерации в одиночку снимает фундаментальное ограничение, связанное с визуальной неоднозначностью. Чтобы проверить этот тезис в продакшне, нужны независимые тесты на более разнообразных данных и замеры задержки на реальном железе.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: почему по губам так легко ошибиться?

Главная проблема в том, что разные звуки выглядят одинаково. В английском /p/, /b/ и /m/ почти неразличимы без звука: «pack» и «back» на видео практически совпадают. Человек справляется за счёт контекста. Если в конце фразы речь о сумках и поездке, он поймёт, что имелось в виду «упаковать», а не что-то «заднее». Привычные модели так не умеют. Они генерируют текст по одному слову слева направо, как автодополнение в телефоне.

Что известно по теме: как работает подход KAIST?

Команда профессора Ён Ман Ро использовала диффузионную языковую модель (DLLM). Она устроена иначе: фраза сначала представлена как набор пустых, замаскированных позиций, и модель заполняет их за несколько проходов. Порядок заполнения не обязан идти слева направо. Этим авторы и воспользовались. Сначала модель определяет слова, в которых уверена, то есть те, где движения губ однозначны. В примере из пресс-релиза это «BAGS» и «TRIP».

Что известно по теме: что получилось и где пределы?

Модель обучали на LRS3, где собрано 433 часа видео с точными расшифровками. Итоговые 19,4% ошибочных слов, по данным авторов, самый низкий показатель среди методов, которые используют для разметки только LRS3. Оговорка важна: сравнение идёт в рамках одинаково скромного объёма размеченных данных. Системы, обученные на гораздо больших массивах, в этот зачёт не входят. Есть и другие ограничения. Это исследовательская работа, опубликованная как препринт на arXiv, а не готовый продукт.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…