Электронные кольца переводят жестовый язык в текст через искусственный интеллект

Электронные кольца с датчиками движения и искусственным интеллектом могут переводить жестовые языки в текст — впервые это продемонстрировали учёные Йонсейского университета.

Почему предыдущие попытки не сработали

На протяжении многих лет исследователи пытались создать практическую систему перевода жестовых языков. Одни использовали камеры и компьютерное зрение, но это работало только в контролируемых условиях и часто ошибалось при изменении освещения. Другие разработали умные перчатки с датчиками. Однако они накапливали тепло и влагу, вызывая дискомфорт, и не учитывали индивидуальные различия в размере рук и длине пальцев. Большинство датчиков требовали проводного подключения к компьютерам, сковывая движение рук. Даже беспроводные версии обычно подключались проводом к единому центральному передатчику.

Семь колец вместо перчаток

Учёные под руководством Ki Jun Yu разработали новый подход: набор электронных колец, каждое из которых передаёт информацию о движении через Bluetooth Low Energy. Использование колец вместо перчаток позволило гибко расставлять датчики и учитывать естественные различия в анатомии разных людей. Беспроводная связь дала рукам полную свободу. На анализе обнаружилось, что семь пальцев играют основную роль в жестовом языке. Поэтому использовали ровно семь колец. Каждое оснащено акселерометром, отслеживающим как неподвижные позы, так и движения. Это критично, потому что жестовые языки сочетают статические позиции и динамические переходы между ними. При разработке система столкнулась с проблемой надёжности. Прямые медные контакты ломались при частых сгибаниях. Решение: переход на контакты с извилистым паттерном, которые выдерживают тысячи циклов.

AI распознаёт жесты

Исследователи разработали систему глубокого обучения, которая распознаёт жесты с поразительной универсальностью. Система научилась работать не только с двумя людьми из обучающей выборки, но и с пятью совершенно новыми людьми — без переналадки под каждого. На экспериментах система распознала 100 слов американского жестового языка и 100 слов международного жестового языка с точностью 88,3% и 88,5% соответственно. Это огромный скачок вперёд: прежние попытки ограничивались менее чем 50 словами в словаре. Впечатляет и то, что система перевела не только отдельные слова, но и целые предложения при непрерывном переводе жестов. Это именно то, что нужно для реального времени в естественном разговоре.

Что это означает

Долгосрочная цель — интегрировать систему в смартфоны без специального оборудования. Кольца передавали бы сигналы на мобильное устройство, где они автоматически переводились бы в реальном времени. Это сделает технологию доступной для повседневного общения. Ближайшие шаги: расширить систему работой с большим количеством людей, добавить больше слов в словарь, поддержать корейский жестовый язык и другие региональные варианты. Учёные также планируют увеличить время автономной работы с нынешних 12 часов до целого дня. Один важный момент: текущая система переводит только движения рук. Следующий большой вызов — добавить мимику, движения губ и пространственные построения, которые грамматически важны в жестовых языках.