semCER pondera erros de OCR por gravidade: 61 milhões de avaliações de um LLM juiz

O Character Error Rate calcula a distância entre o texto reconhecido e o texto de referência e a divide pelo comprimento da referência. Para o CER, um erro em uma letra da palavra «Иванов» e um erro na palavra «и» no meio de um parágrafo custam o mesmo. Os autores do artigo propõem a métrica semCER: ela mantém o alinhamento e o denominador do CER, mas cada correção em nível de grafema é avaliada por um LLM juiz. A amostra é impressionante: 61 milhões de correções avaliadas em 16 idiomas, todas publicadas em acesso aberto.

Como a métrica funciona

A principal decisão de engenharia é que o semCER não quebra a aritmética já conhecida. O alinhamento continua o mesmo, e o denominador também. Muda apenas o custo de cada correção: em vez de 1, o juiz atribui um peso conforme a gravidade. Não é preciso segmentar o texto em palavras, o que é importante para o chinês, em que as fronteiras entre palavras não são marcadas por espaços, e para idiomas de morfologia rica.

Essa abordagem preserva a comparabilidade com resultados anteriores. Se você acompanha há anos o CER do seu pipeline de OCR, a migração não exige recalcular tudo do zero: a estrutura da pontuação é a mesma, e só os pesos mudam.

O que mostraram as validações com leitores

Os autores compararam as notas da métrica com as de leitores humanos em inglês, vietnamita e chinês. Os pesos do semCER coincidem com as avaliações humanas correção por correção, e os erros considerados mais graves pelos leitores ficam no topo da lista ordenada. Nos pares em que CER e semCER discordavam, os leitores concordaram mais com o semCER do que com o CER normalizado em inglês e chinês. Em vietnamita, o placar ficou empatado.

Há também uma ressalva honesta. Para a nota final de uma transcrição inteira, o CER normalizado tem correlação com os leitores tão boa quanto a do semCER, e às vezes melhor. O valor do semCER está em outro ponto: ele decompõe essa nota em correções individuais nomeadas. A métrica passa a ser uma ferramenta de diagnóstico, e não apenas um novo número.

Principais resultados do artigo:

• 61 milhões de correções avaliadas por um LLM juiz, 16 idiomas;
• validação com humanos: inglês, vietnamita, chinês;
• nos pares controversos, os leitores escolhem o semCER mais vezes que o CER normalizado em inglês e chinês; em vietnamita, há empate;
• em espanhol, o juiz avalia um diacrítico ou marca de tom errado como quase zero; em telugo, quase como uma letra errada;
• junto com os dados, foi publicado um avaliador destilado, ou seja, não é obrigatório chamar um LLM grande a cada avaliação.

A variação entre idiomas reflete a realidade: em espanhol, perder um acento raramente muda o sentido, enquanto em telugo o sinal faz parte da letra e determina qual palavra a pessoa vai ler. O CER simples não enxerga essa diferença.

Erros que parecem palavras

Um resultado à parte diz respeito ao tipo de erro. Nos casos em que é possível contar palavras reais, uma letra errada na saída de uma VLM de uso geral forma uma palavra existente com frequência bem maior que o nível aleatório. No pipeline de OCR clássico, essa proporção fica próxima do aleatório. Na prática, a conclusão é incômoda: o modelo de linguagem corrige o texto na direção do plausível, e o erro vira uma frase que lê bem, mas diz outra coisa. Esse tipo de erro é mais difícil de pegar na revisão do que um texto ilegível.

Como usar na avaliação de OCR

Para equipes que comparam VLMs e motores clássicos em documentos, o esquema é simples. A nota final ainda pode ser calculada com o CER normalizado. Vale rodar o semCER por cima dele, para análise: ordenar as correções por gravidade e ver quais erros o modelo comete em nomes, números e diacríticos.

Isso é especialmente útil em pipelines multilíngues, em que um mesmo CER em espanhol e em telugo significa danos diferentes. O avaliador destilado do repositório nguyenx2t/semcer permite fazer isso sem recorrer a um LLM juiz a cada documento. A limitação é evidente: os pesos são definidos por um LLM, então, em domínios críticos, como medicina ou direito, convém conferi-los por amostragem com as avaliações de especialistas da própria equipe.