Бейзлайн на Bukva распознаёт буквы русского дактиля с top-1 accuracy 83,6%

На семинаре WSLP-2026 (Workshop on Sign Language Processing) в рамках конференции EMNLP в Будапеште представили три работы о распознавании дактиля — пальцевой азбуки русского жестового языка (РЖЯ). Главная цифра подборки относится к датасету Bukva: бейзлайн на лёгких моделях TSM и MobileNetV2 показал top-1 accuracy 83,6%, то есть правильная буква оказывалась первым ответом модели в 83,6% случаев. Остальные работы — HandReader с результатом 75,6 на бенчмарке ChicagoFSWild+ и датасет Znaki с 37 252 видео. Авторы не смогли приехать лично, поэтому постеры привёз коллега и сам отвечал на вопросы посетителей. Код обещают выложить в открытый доступ.

Bukva: открытый алфавит РЖЯ и тренажёр на обычном CPU

Bukva — первый открытый датасет для распознавания дактильной азбуки РЖЯ. В нём 3757 видео, 33 буквы, из которых 8 динамические (их показывают движением кисти, а не статичной позой), и 155 носителей языка.

Бейзлайн авторы собрали на лёгких компонентах: TSM (Temporal Shift Module, модуль сдвига признаков по времени) и MobileNetV2. Результат — top-1 accuracy 83,6%. Модель работает в реальном времени на одном ядре среднего процессора, видеокарта не нужна. На этой основе команда сделала демо-тренажёр для изучения дактиля. Для образовательных приложений на обычных ноутбуках и телефонах такая лёгкость важнее рекордной точности.

HandReader: три архитектуры и результат на ChicagoFSWild+

Вторая работа, HandReader, описывает три архитектуры для распознавания дактиля:

• HandReader_RGB работает с обычным видео и использует новый модуль TSAM. Он обрабатывает ролики разной длины без паддинга и обрезки, то есть не дополняет короткие записи пустыми кадрами и не режет длинные;
• HandReader_KP опирается на кодировщик ключевых точек ладони, а не на пиксели;
• HandReader_RGB+KP объединяет обе модальности.

Семейство получило SOTA на зарубежном бенчмарке ChicagoFSWild+ (75,6). ChicagoFSWild и ChicagoFSWild+ — наборы видео американского дактиля, снятых в обычных условиях, а не в студии. На ChicagoFSWild модель показала лучший результат среди моделей, обученных только на собственном претрейне, то есть без внешних предобученных весов. В посте не указано, какая именно метрика стоит за значением 75,6, поэтому точные условия сравнения нужно смотреть в статье на arXiv.

Znaki: непрерывное дактилирование и имена собственные

Третья работа переходит от отдельных букв к целым последовательностям. Znaki — первый открытый датасет непрерывного дактилирования для РЖЯ. В нём 37 252 видео общей длительностью 35,4 часа и 1593 уникальные последовательности. Это имена собственные из 16 категорий. Записали датасет 68 носителей РЖЯ, среди них сертифицированные переводчики.

Данные собирали через краудсорсинг: исполнителей отбирали в два этапа, а результат проверяли эксперты.

В качестве бейзлайнов авторы взяли модели, адаптированные под американский жестовый язык (ASL). Они дают до 0,932 по метрике 1−CER (единица минус доля ошибочных символов) и 0,596 по sequence accuracy — доле последовательностей, распознанных целиком без ошибок. Получается, что большинство символов модели угадывают, но безошибочно прочитать всю последовательность удаётся чуть больше чем в половине случаев.

Что это даёт

Вместе три работы дают русскоязычному направлению открытые данные и по отдельным буквам, и по непрерывному дактилированию, а также бейзлайны для сравнения. У результатов есть границы: дактиль — лишь часть РЖЯ и не заменяет распознавание полноценных жестов и грамматики, а все метрики получены на конкретных датасетах. Когда авторы выложат обещанный код, разработчикам станет проще проверить заявленные цифры и собрать собственные приложения для обучения и перевода.