El baseline en Bukva reconoce las letras de la dactilología rusa con una top-1 accuracy del 83,6%

En el taller WSLP-2026 (Workshop on Sign Language Processing), dentro de la conferencia EMNLP en Budapest, se presentaron tres trabajos sobre reconocimiento de dactilología, el alfabeto manual de la lengua de signos rusa (LSR). La cifra principal del conjunto corresponde al dataset Bukva: un baseline con los modelos ligeros TSM y MobileNetV2 logró una top-1 accuracy del 83,6%; es decir, la letra correcta fue la primera respuesta del modelo en el 83,6% de los casos. Los otros trabajos son HandReader, con un resultado de 75,6 en el benchmark ChicagoFSWild+, y el dataset Znaki, con 37 252 vídeos.

Los autores no pudieron asistir en persona, así que un colega llevó los pósteres y respondió él mismo a las preguntas de los asistentes. Prometen publicar el código en abierto.

Bukva: alfabeto abierto de la LSR y un entrenador que funciona en una CPU común

Bukva es el primer dataset abierto para el reconocimiento del alfabeto dactilológico de la LSR. Contiene 3757 vídeos, 33 letras, de las cuales 8 son dinámicas (se articulan con un movimiento de la mano, no con una postura estática), y 155 hablantes de la lengua.

Los autores construyeron el baseline con componentes ligeros: TSM (Temporal Shift Module, módulo de desplazamiento de características en el tiempo) y MobileNetV2. El resultado es una top-1 accuracy del 83,6%. El modelo funciona en tiempo real en un solo núcleo de un procesador de gama media y no necesita tarjeta gráfica. Con esta base, el equipo creó un entrenador de demostración para aprender dactilología. Para aplicaciones educativas en portátiles y teléfonos corrientes, esa ligereza importa más que una precisión récord.

HandReader: tres arquitecturas y su resultado en ChicagoFSWild+

El segundo trabajo, HandReader, describe tres arquitecturas para reconocer dactilología:

• HandReader_RGB trabaja con vídeo convencional y usa un nuevo módulo, TSAM. Procesa clips de distinta duración sin padding ni recorte: no rellena las grabaciones cortas con fotogramas vacíos ni corta las largas;
• HandReader_KP se apoya en un codificador de puntos clave de la palma, no en píxeles;
• HandReader_RGB+KP combina ambas modalidades.

La familia alcanzó el SOTA en el benchmark extranjero ChicagoFSWild+ (75,6). ChicagoFSWild y ChicagoFSWild+ son conjuntos de vídeos de dactilología estadounidense grabados en condiciones cotidianas, no en estudio. En ChicagoFSWild, el modelo obtuvo el mejor resultado entre los modelos entrenados únicamente con su propio preentrenamiento, es decir, sin pesos preentrenados externos. El post no indica qué métrica concreta hay detrás del valor 75,6, por lo que conviene consultar el artículo en arXiv para conocer las condiciones exactas de la comparación.

Znaki: dactilología continua y nombres propios

El tercer trabajo pasa de las letras sueltas a secuencias completas. Znaki es el primer dataset abierto de dactilología continua para la LSR. Incluye 37 252 vídeos con una duración total de 35,4 horas y 1593 secuencias únicas. Se trata de nombres propios de 16 categorías. El dataset lo grabaron 68 hablantes de LSR, entre ellos intérpretes certificados.

Los datos se recopilaron mediante crowdsourcing: los participantes pasaron por una selección en dos etapas y expertos verificaron el resultado.

Como baselines, los autores tomaron modelos adaptados a la lengua de signos estadounidense (ASL). Alcanzan hasta 0,932 en la métrica 1−CER (uno menos la tasa de error de caracteres) y 0,596 en sequence accuracy, la proporción de secuencias reconocidas por completo y sin errores. Es decir, los modelos aciertan la mayoría de los caracteres, pero solo logran leer sin errores una secuencia entera en algo más de la mitad de los casos.

Qué aporta

En conjunto, los tres trabajos ofrecen al ámbito ruso datos abiertos tanto de letras sueltas como de dactilología continua, además de baselines para comparar. Los resultados tienen límites: la dactilología es solo una parte de la LSR y no sustituye el reconocimiento de signos completos ni de la gramática, y todas las métricas se obtuvieron en datasets concretos. Cuando los autores publiquen el código prometido, a los desarrolladores les resultará más fácil verificar las cifras declaradas y crear sus propias aplicaciones de aprendizaje y traducción.