Baseline no Bukva reconhece letras da datilologia russa com top-1 accuracy de 83,6%

No workshop WSLP-2026 (Workshop on Sign Language Processing), realizado dentro da conferência EMNLP, em Budapeste, foram apresentados três trabalhos sobre reconhecimento de datilologia, o alfabeto manual da língua de sinais russa (РЖЯ). O principal número do conjunto vem do dataset Bukva: um baseline com os modelos leves TSM e MobileNetV2 atingiu top-1 accuracy de 83,6%, ou seja, a letra correta foi a primeira resposta do modelo em 83,6% dos casos. Os outros trabalhos são o HandReader, com resultado de 75,6 no benchmark ChicagoFSWild+, e o dataset Znaki, com 37 252 vídeos.

Os autores não puderam comparecer pessoalmente, então um colega levou os pôsteres e respondeu sozinho às perguntas dos visitantes. A promessa é que o código seja publicado em acesso aberto.

Bukva: alfabeto aberto da РЖЯ e um treinador que roda em CPU comum

O Bukva é o primeiro dataset aberto para reconhecimento do alfabeto manual da РЖЯ. Ele reúne 3757 vídeos, 33 letras, das quais 8 são dinâmicas (feitas com movimento da mão, e não com uma pose estática), e 155 falantes nativos da língua.

Os autores montaram o baseline com componentes leves: TSM (Temporal Shift Module, módulo de deslocamento de características no tempo) e MobileNetV2. O resultado é top-1 accuracy de 83,6%. O modelo roda em tempo real em um único núcleo de um processador mediano, sem necessidade de placa de vídeo. Com essa base, a equipe criou um treinador de demonstração para aprender datilologia. Para aplicativos educacionais em notebooks e celulares comuns, essa leveza pesa mais do que a precisão recorde.

HandReader: três arquiteturas e o resultado no ChicagoFSWild+

O segundo trabalho, o HandReader, descreve três arquiteturas para reconhecer datilologia:

• HandReader_RGB trabalha com vídeo comum e usa um novo módulo, o TSAM. Ele processa clipes de durações diferentes sem padding nem corte, isto é, não completa gravações curtas com quadros vazios e não corta as longas;
• HandReader_KP se apoia em um codificador de pontos-chave da palma da mão, e não em pixels;
• HandReader_RGB+KP combina as duas modalidades.

A família de modelos obteve SOTA no benchmark estrangeiro ChicagoFSWild+ (75,6). ChicagoFSWild e ChicagoFSWild+ são conjuntos de vídeos de datilologia americana gravados em condições comuns, e não em estúdio. No ChicagoFSWild, o modelo teve o melhor resultado entre os modelos treinados apenas com pré-treinamento próprio, ou seja, sem pesos pré-treinados externos. A publicação não informa qual métrica está por trás do valor 75,6, então as condições exatas da comparação precisam ser conferidas no artigo no arXiv.

Znaki: datilologia contínua e nomes próprios

O terceiro trabalho sai das letras isoladas e passa para sequências inteiras. O Znaki é o primeiro dataset aberto de datilologia contínua para a РЖЯ. Ele tem 37 252 vídeos, com duração total de 35,4 horas, e 1593 sequências únicas. São nomes próprios de 16 categorias. O dataset foi gravado por 68 falantes de РЖЯ, entre eles intérpretes certificados.

Os dados foram coletados por crowdsourcing: os participantes passaram por seleção em duas etapas, e o resultado foi revisado por especialistas.

Como baselines, os autores usaram modelos adaptados para a língua de sinais americana (ASL). Eles chegam a 0,932 na métrica 1−CER (um menos a taxa de erro de caracteres) e a 0,596 em sequence accuracy, a proporção de sequências reconhecidas por inteiro, sem erros. Na prática, os modelos acertam a maioria dos caracteres, mas só conseguem ler uma sequência inteira sem erro em pouco mais da metade dos casos.

O que isso muda

Juntos, os três trabalhos oferecem à comunidade que trabalha com o russo dados abertos tanto de letras isoladas quanto de datilologia contínua, além de baselines para comparação. Os resultados têm limites: a datilologia é apenas uma parte da РЖЯ e não substitui o reconhecimento de sinais completos e da gramática, e todas as métricas foram obtidas em datasets específicos. Quando os autores publicarem o código prometido, ficará mais fácil para desenvolvedores verificar os números divulgados e criar seus próprios aplicativos de ensino e tradução.