semCER pesa erros de OCR por gravidade: 61 milhões de avaliações de um LLM juiz

O Character Error Rate mede a distância entre o texto reconhecido e a referência e a divide pelo tamanho da referência. Para o CER, errar uma letra no nome "Иванов" e errar a palavra "и" no meio de um parágrafo custam o mesmo. Os autores do artigo propõem o semCER: ele mantém o alinhamento e o denominador do CER, mas um LLM juiz avalia cada edição no nível do grafema. A amostra é grande: 61 milhões de edições avaliadas em 16 idiomas, todas liberadas publicamente.

Como a métrica funciona

A principal decisão de engenharia é que o semCER não quebra a aritmética já conhecida. O alinhamento continua o mesmo, e o denominador também. Muda apenas o custo de cada edição: em vez de um, o juiz atribui um peso conforme a gravidade. Não é preciso segmentar em palavras, o que importa para o chinês, em que as fronteiras entre palavras não são marcadas por espaços, e para idiomas de morfologia rica.

Essa abordagem preserva a comparabilidade com resultados anteriores. Se você acompanha o CER do seu pipeline de OCR há anos, a mudança não exige recalcular tudo do zero: a estrutura da pontuação é a mesma, e só os pesos mudam.

O que as verificações com leitores mostraram

Os autores compararam as notas da métrica com as de leitores humanos em inglês, vietnamita e chinês. Os pesos do semCER coincidem com as avaliações humanas edição por edição, e os erros que os leitores consideram mais graves aparecem no topo da lista ordenada. Nos pares em que CER e semCER discordavam, os leitores concordaram mais com o semCER do que com o CER normalizado em inglês e chinês. Em vietnamita, houve empate.

Há uma ressalva honesta. Para a nota final de uma transcrição inteira, o CER normalizado se correlaciona com os leitores tão bem quanto o semCER, e às vezes melhor. O valor do semCER está em outro ponto: ele decompõe essa nota em edições individuais nomeadas. A métrica passa a ser uma ferramenta de diagnóstico, e não apenas mais um número.

Principais resultados do artigo:

• 61 milhões de edições avaliadas por um LLM juiz, 16 idiomas;
• validação com humanos: inglês, vietnamita, chinês;
• nos pares controversos, os leitores escolhem o semCER mais vezes que o CER normalizado em inglês e chinês, e em vietnamita ficam empatados;
• em espanhol, o juiz avalia um diacrítico ou marca de tom errados quase em zero; em telugu, quase como uma letra errada;
• junto com os dados foi liberado um avaliador destilado, ou seja, não é obrigatório chamar um LLM grande a cada avaliação.

A variação entre idiomas reflete a realidade: em espanhol, perder o acento raramente muda o sentido, enquanto em telugu o sinal faz parte da letra e define qual palavra a pessoa vai ler. O CER simples não enxerga essa diferença.

Erros que parecem palavras

Um resultado à parte trata do tipo de erro. Onde é possível contar palavras reais, uma letra errada na saída de uma VLM de uso geral forma uma palavra existente com frequência bem acima do acaso. Em um pipeline de OCR clássico, essa proporção fica perto do acaso. Na prática, a conclusão é incômoda: o modelo de linguagem corrige o texto em direção ao plausível, e o erro vira uma frase que lê bem, mas diz outra coisa. Esse tipo de erro é mais difícil de pegar na revisão do que um texto ilegível.

Como usar na avaliação de OCR

Para equipes que comparam VLMs e motores clássicos em documentos, o esquema é simples. A nota final ainda pode ser calculada com o CER normalizado. O semCER deve rodar por cima, para análise: ordene as edições por gravidade e veja que erros o modelo comete em nomes, números e diacríticos. Isso é especialmente útil em pipelines multilíngues, em que o mesmo CER em espanhol e em telugu significa danos diferentes. O avaliador destilado do repositório nguyenx2t/semcer permite fazer isso sem chamar um LLM juiz a cada documento. A limitação é óbvia: os pesos são definidos por um LLM, então, em domínios críticos como medicina ou direito, convém conferi-los por amostragem com as avaliações de especialistas da própria equipe.