Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Corpus para o tártaro da Crimeia: 79% das páginas não exigiram OCR, mas o turco se infiltrou

Para treinar uma rede neural em tártaro da Crimeia, o autor montou um corpus de livros antigos e transmissões de rádio e TV. Descobriu que 79% das páginas em tártaro da Crimeia já tinham texto sob a imagem, então o OCR (reconhecimento de scans) só foi necessário para um quinto delas. Em compensação, os periódicos trouxeram substituições por formas turcas: na nova versão do modelo, a fatia de formas turcas nas respostas subiu de 0,27% para 2,02%. A conclusão: primeiro conte a composição do arquivo e rode as métricas por fonte.

Processado por IA de Habr AI; editado por Hamidun News
Corpus para o tártaro da Crimeia: 79% das páginas não exigiram OCR, mas o turco se infiltrou
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Duplicatas por conteúdo7,0% das páginas, impossíveis de pegar pelo nome do arquivo
Dado-chave #2Três fontes responderam por 46% de todos os tokens turcos; quatorze, por 76%
A autocorreção n → ñ foi revertida"crianças" virava "seus filhos"

Quando uma língua não tem nenhum dataset decente, a pergunta deixa de ser "qual modelo usar" e passa a ser "com o que treinar". O autor de uma série de artigos no Habr sobre o tártaro da Crimeia contou como montou um corpus para reconhecimento de fala, síntese de voz e um modelo de linguagem. O número principal: em 79% das páginas de livros antigos em tártaro da Crimeia, o texto já estava sob a imagem da página, e por isso o caro reconhecimento de scans (OCR) foi necessário só para o quinto restante.

O segundo número é mais incômodo: na nova versão do modelo de linguagem, a fatia de formas turcas nas respostas subiu de 0,27% para 2,02%, porque textos escritos à moda turca se infiltraram nos dados. Se você monta um corpus de línguas raras ou de arquivos internos de uma empresa, este relato pode poupar meses.

Primeiro, contar o que há no arquivo

O autor tinha livros e periódicos de várias épocas, gravações de transmissões, audiolivros, dicionários e gravações de professores. Quase nada era um dataset pronto: o livro continua sendo PDF, a transmissão é uma pilha de horas de áudio sem texto, e no audiolivro som e texto vivem separados. O plano parecia óbvio: os livros antigos existem sobretudo como scans, então é preciso OCR. Nessa língua, porém, o OCR erra, principalmente nas letras que não existem no russo, além de ser lento e caro.

Antes de rodar, o autor calculou a fatia de páginas por categoria. Livros em russo ficaram com 32,2%, turcos com 13,9%, cirílico crimeano-tártaro com camada de texto com 28,2% e alfabeto latino com camada de texto com 3,9%. Considerando só as páginas em tártaro da Crimeia, 79% já traziam texto real, obtido sem reconhecimento. A etapa cara acabou sendo a menor metade do butim.

Mas "há texto" não significa "o texto é bom": a camada foi criada, em algum momento, por um programa de terceiros. Apareceram três defeitos. O primeiro é o sinal mole no lugar do duro (o autor cita "къаплангьан" em vez de "къаплангъан"): as combinações "кь" e "гь" não existem no cirílico crimeano-tártaro, então a substituição é mecânica.

Antes de aplicar a correção, ele a rodou sobre um texto sabidamente saudável, no qual nenhum caractere deveria mudar. Resultado: zero alterações. Só então corrigiu dezenas de milhares de páginas.

O segundo defeito é a codificação errada: o "ı" turco virava "ý" e o "ş" virava "þ", o que também é reversível. O terceiro são as duplicatas: pelos nomes de arquivo quase não se achavam cópias, mas pelo conteúdo (comparação de trechos de oito palavras) apareceram 7,0% de repetições. Sem isso, o modelo veria alguns textos duas vezes e, na validação, "reconheceria" o que deveria ver pela primeira vez.

A decisão foi tomada por página, não por livro: num mesmo volume, cirílico limpo pode conviver com latim estragado. A qualidade foi medida pela fatia de palavras que começam com uma raiz do dicionário. A correspondência exata não servia: a língua é aglutinante, cadeias de terminações se agarram à raiz, e essa medida não distinguia um livro bom (3% de acertos) de um quebrado (2%). Controle: seis livros russos aleatórios foram rejeitados em 100% das páginas, seis turcos em 74%, mas dois dos seis passaram. Resultado: a quantidade de texto utilizável ficou cerca de dez vezes maior do que no núcleo anterior do corpus.

O turco que se passa por tártaro da Crimeia

Certa vez, o modelo respondeu "Ayt, men dinlemeye hazırım", quando o correto seria "Ayt, men diñlemege azırım": as raízes são as mesmas, mas a forma é turca. Em 524 consultas de teste, a fatia de tokens latinos com forma turca na nova versão foi de 2,02%, contra 0,27% na anterior, ou seja, 7,5 vezes mais. O detector foi calibrado nos dois sentidos: em prosa crimeano-tártara limpa ele marca 0,03%, em texto turco genuíno, 11,75%.

Com o mesmo instrumento, o autor examinou o corpus. No recorte em que a versão foi treinada, havia 0,41% de formas turcas; no seguinte, 0,93%, ou 2,3 vezes mais. A contaminação estava concentrada em poucos lugares: três fontes responderam por 46% de todos os tokens marcados, e quatorze por 76%. Eram periódicos publicados fora da Crimeia, nos quais o texto em tártaro da Crimeia costuma ser escrito à maneira turca. Os rastreamentos amplos da web, que o autor suspeitou primeiro, foram as mais limpas entre as grandes fontes.

Um identificador de idioma comum fica cego aqui: ele responde "é a nossa língua ou não?", e línguas aparentadas têm raízes demais em comum. Dos mais de dez mil trechos indevidos que ele encontrou, só 40 tinham marcas turcas.

Por isso os detectores foram construídos pelo avesso: procuram formas que não existem em tártaro da Crimeia, como o nome verbal no dativo em "-meye" em vez de "-mege". Cada detector foi testado nos dois sentidos, e a decisão considera a linha inteira: a terminação "-yor" apareceu em centenas de linhas, e nenhuma era turca. Outro detector achou algumas dezenas de trechos em cazaque, tártaro e uzbeque.

Alguns milhares de fragmentos foram para quarentena, com a marcação de origem e da regra que disparou, e nada foi excluído.

Por que a autocorreção foi revertida

A tentação era normalizar a grafia turca: k → q, n → ñ. A regra permitia a troca se a forma original não estivesse no dicionário e a resultante estivesse. O autor aplicou algumas centenas dessas substituições a um recorte de rascunho, olhou o diff e reverteu. O dicionário confirma que o resultado é uma palavra crimeano-tártara, mas não que seja a palavra que se pretendia. "Balaların" ("crianças") virava "balalarıñ" ("seus filhos"), e "atın" virava "atıñ" ("seu cavalo", em vez de "do cavalo"). Um normalizador que produz erros plausíveis é pior do que um que não faz nada. As substituições ficaram em um arquivo separado, como sugestão.

As formas dialetais, como o "ben" do litoral sul no lugar do "men" literário, não foram removidas do corpus, embora os detectores de turco impliquem com elas: nas respostas do modelo, elas são contadas como uma categoria à parte.

A conclusão prática: conte a composição do arquivo antes do processamento caro, teste as correções em dados sabidamente saudáveis, rode as métricas de qualidade por fonte e não deixe a automação "consertar" o que ela não entende. A limitação do método também é honesta: o turco vaza em parte pelo dicionário da língua aparentada, e não há proteção de 100%.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Primeiro, contar o que há no arquivo?

O autor tinha livros e periódicos de várias épocas, gravações de transmissões, audiolivros, dicionários e gravações de professores. Quase nada era um dataset pronto: o livro continua sendo PDF, a transmissão é uma pilha de horas de áudio sem texto, e no audiolivro som e texto vivem separados. O plano parecia óbvio: os livros antigos existem sobretudo como scans, então é preciso OCR. Nessa língua, porém, o OCR erra, principalmente nas letras que não existem no russo, além de ser lento e caro.

O que se sabe sobre O turco que se passa por tártaro da Crimeia?

Certa vez, o modelo respondeu "Ayt, men dinlemeye hazırım", quando o correto seria "Ayt, men diñlemege azırım": as raízes são as mesmas, mas a forma é turca. Em 524 consultas de teste, a fatia de tokens latinos com forma turca na nova versão foi de 2,02%, contra 0,27% na anterior, ou seja, 7,5 vezes mais. O detector foi calibrado nos dois sentidos: em prosa crimeano-tártara limpa ele marca 0,03%, em texto turco genuíno, 11,75%. Com o mesmo instrumento, o autor examinou o corpus.

Por que a autocorreção foi revertida?

A tentação era normalizar a grafia turca: k → q, n → ñ. A regra permitia a troca se a forma original não estivesse no dicionário e a resultante estivesse. O autor aplicou algumas centenas dessas substituições a um recorte de rascunho, olhou o diff e reverteu. O dicionário confirma que o resultado é uma palavra crimeano-tártara, mas não que seja a palavra que se pretendia. "Balaların" ("crianças") virava "balalarıñ" ("seus filhos"), e "atın" virava "atıñ" ("seu cavalo", em vez de "do cavalo").

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…