Corpus para o tártaro da Crimeia: 79% das páginas não exigiram OCR, mas o turco se infiltrou
Para treinar uma rede neural em tártaro da Crimeia, o autor montou um corpus de livros antigos e transmissões de rádio e TV. Descobriu que 79% das páginas em tártaro da Crimeia já tinham texto sob a imagem, então o OCR (reconhecimento de scans) só foi necessário para um quinto delas. Em compensação, os periódicos trouxeram substituições por formas turcas: na nova versão do modelo, a fatia de formas turcas nas respostas subiu de 0,27% para 2,02%. A conclusão: primeiro conte a composição do arquivo e rode as métricas por fonte.
Processado por IA de Habr AI; editado por Hamidun News
Quando uma língua não tem nenhum dataset decente, a pergunta deixa de ser "qual modelo usar" e passa a ser "com o que treinar". O autor de uma série de artigos no Habr sobre o tártaro da Crimeia contou como montou um corpus para reconhecimento de fala, síntese de voz e um modelo de linguagem. O número principal: em 79% das páginas de livros antigos em tártaro da Crimeia, o texto já estava sob a imagem da página, e por isso o caro reconhecimento de scans (OCR) foi necessário só para o quinto restante.
O segundo número é mais incômodo: na nova versão do modelo de linguagem, a fatia de formas turcas nas respostas subiu de 0,27% para 2,02%, porque textos escritos à moda turca se infiltraram nos dados. Se você monta um corpus de línguas raras ou de arquivos internos de uma empresa, este relato pode poupar meses.
Primeiro, contar o que há no arquivo
O autor tinha livros e periódicos de várias épocas, gravações de transmissões, audiolivros, dicionários e gravações de professores. Quase nada era um dataset pronto: o livro continua sendo PDF, a transmissão é uma pilha de horas de áudio sem texto, e no audiolivro som e texto vivem separados. O plano parecia óbvio: os livros antigos existem sobretudo como scans, então é preciso OCR. Nessa língua, porém, o OCR erra, principalmente nas letras que não existem no russo, além de ser lento e caro.
Antes de rodar, o autor calculou a fatia de páginas por categoria. Livros em russo ficaram com 32,2%, turcos com 13,9%, cirílico crimeano-tártaro com camada de texto com 28,2% e alfabeto latino com camada de texto com 3,9%. Considerando só as páginas em tártaro da Crimeia, 79% já traziam texto real, obtido sem reconhecimento. A etapa cara acabou sendo a menor metade do butim.
Mas "há texto" não significa "o texto é bom": a camada foi criada, em algum momento, por um programa de terceiros. Apareceram três defeitos. O primeiro é o sinal mole no lugar do duro (o autor cita "къаплангьан" em vez de "къаплангъан"): as combinações "кь" e "гь" não existem no cirílico crimeano-tártaro, então a substituição é mecânica.
Antes de aplicar a correção, ele a rodou sobre um texto sabidamente saudável, no qual nenhum caractere deveria mudar. Resultado: zero alterações. Só então corrigiu dezenas de milhares de páginas.
O segundo defeito é a codificação errada: o "ı" turco virava "ý" e o "ş" virava "þ", o que também é reversível. O terceiro são as duplicatas: pelos nomes de arquivo quase não se achavam cópias, mas pelo conteúdo (comparação de trechos de oito palavras) apareceram 7,0% de repetições. Sem isso, o modelo veria alguns textos duas vezes e, na validação, "reconheceria" o que deveria ver pela primeira vez.
A decisão foi tomada por página, não por livro: num mesmo volume, cirílico limpo pode conviver com latim estragado. A qualidade foi medida pela fatia de palavras que começam com uma raiz do dicionário. A correspondência exata não servia: a língua é aglutinante, cadeias de terminações se agarram à raiz, e essa medida não distinguia um livro bom (3% de acertos) de um quebrado (2%). Controle: seis livros russos aleatórios foram rejeitados em 100% das páginas, seis turcos em 74%, mas dois dos seis passaram. Resultado: a quantidade de texto utilizável ficou cerca de dez vezes maior do que no núcleo anterior do corpus.
O turco que se passa por tártaro da Crimeia
Certa vez, o modelo respondeu "Ayt, men dinlemeye hazırım", quando o correto seria "Ayt, men diñlemege azırım": as raízes são as mesmas, mas a forma é turca. Em 524 consultas de teste, a fatia de tokens latinos com forma turca na nova versão foi de 2,02%, contra 0,27% na anterior, ou seja, 7,5 vezes mais. O detector foi calibrado nos dois sentidos: em prosa crimeano-tártara limpa ele marca 0,03%, em texto turco genuíno, 11,75%.
Com o mesmo instrumento, o autor examinou o corpus. No recorte em que a versão foi treinada, havia 0,41% de formas turcas; no seguinte, 0,93%, ou 2,3 vezes mais. A contaminação estava concentrada em poucos lugares: três fontes responderam por 46% de todos os tokens marcados, e quatorze por 76%. Eram periódicos publicados fora da Crimeia, nos quais o texto em tártaro da Crimeia costuma ser escrito à maneira turca. Os rastreamentos amplos da web, que o autor suspeitou primeiro, foram as mais limpas entre as grandes fontes.
Um identificador de idioma comum fica cego aqui: ele responde "é a nossa língua ou não?", e línguas aparentadas têm raízes demais em comum. Dos mais de dez mil trechos indevidos que ele encontrou, só 40 tinham marcas turcas.
Por isso os detectores foram construídos pelo avesso: procuram formas que não existem em tártaro da Crimeia, como o nome verbal no dativo em "-meye" em vez de "-mege". Cada detector foi testado nos dois sentidos, e a decisão considera a linha inteira: a terminação "-yor" apareceu em centenas de linhas, e nenhuma era turca. Outro detector achou algumas dezenas de trechos em cazaque, tártaro e uzbeque.
Alguns milhares de fragmentos foram para quarentena, com a marcação de origem e da regra que disparou, e nada foi excluído.
Por que a autocorreção foi revertida
A tentação era normalizar a grafia turca: k → q, n → ñ. A regra permitia a troca se a forma original não estivesse no dicionário e a resultante estivesse. O autor aplicou algumas centenas dessas substituições a um recorte de rascunho, olhou o diff e reverteu. O dicionário confirma que o resultado é uma palavra crimeano-tártara, mas não que seja a palavra que se pretendia. "Balaların" ("crianças") virava "balalarıñ" ("seus filhos"), e "atın" virava "atıñ" ("seu cavalo", em vez de "do cavalo"). Um normalizador que produz erros plausíveis é pior do que um que não faz nada. As substituições ficaram em um arquivo separado, como sugestão.
As formas dialetais, como o "ben" do litoral sul no lugar do "men" literário, não foram removidas do corpus, embora os detectores de turco impliquem com elas: nas respostas do modelo, elas são contadas como uma categoria à parte.
A conclusão prática: conte a composição do arquivo antes do processamento caro, teste as correções em dados sabidamente saudáveis, rode as métricas de qualidade por fonte e não deixe a automação "consertar" o que ela não entende. A limitação do método também é honesta: o turco vaza em parte pelo dicionário da língua aparentada, e não há proteção de 100%.
- 26 de jul. de 2026SIFT: classificador de documentos que aprende sozinho e se retreina sem intervenção humana
- 9 de out. de 2026Wieszcz-XIX: corpus polonês anterior a 1918, com 3,1 bilhões de palavras, treina modelos do zero
- 2 de mai. de 2026NVIDIA apresenta o Nemotron OCR v2: OCR multilíngue treinado com 12,2 milhões de documentos sintéticos
- 12 de nov. de 2026Claude Fable 5.2 projetou do zero três dispositivos eletrônicos a partir de um prompt curto
Perguntas frequentes sobre a notícia
O que se sabe sobre Primeiro, contar o que há no arquivo?
O autor tinha livros e periódicos de várias épocas, gravações de transmissões, audiolivros, dicionários e gravações de professores. Quase nada era um dataset pronto: o livro continua sendo PDF, a transmissão é uma pilha de horas de áudio sem texto, e no audiolivro som e texto vivem separados. O plano parecia óbvio: os livros antigos existem sobretudo como scans, então é preciso OCR. Nessa língua, porém, o OCR erra, principalmente nas letras que não existem no russo, além de ser lento e caro.
O que se sabe sobre O turco que se passa por tártaro da Crimeia?
Certa vez, o modelo respondeu "Ayt, men dinlemeye hazırım", quando o correto seria "Ayt, men diñlemege azırım": as raízes são as mesmas, mas a forma é turca. Em 524 consultas de teste, a fatia de tokens latinos com forma turca na nova versão foi de 2,02%, contra 0,27% na anterior, ou seja, 7,5 vezes mais. O detector foi calibrado nos dois sentidos: em prosa crimeano-tártara limpa ele marca 0,03%, em texto turco genuíno, 11,75%. Com o mesmo instrumento, o autor examinou o corpus.
Por que a autocorreção foi revertida?
A tentação era normalizar a grafia turca: k → q, n → ñ. A regra permitia a troca se a forma original não estivesse no dicionário e a resultante estivesse. O autor aplicou algumas centenas dessas substituições a um recorte de rascunho, olhou o diff e reverteu. O dicionário confirma que o resultado é uma palavra crimeano-tártara, mas não que seja a palavra que se pretendia. "Balaların" ("crianças") virava "balalarıñ" ("seus filhos"), e "atın" virava "atıñ" ("seu cavalo", em vez de "do cavalo").
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.