Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Un corpus para el tártaro de Crimea: el 79% de las páginas no necesitó OCR, pero se coló el turco

Para entrenar una red neuronal en tártaro de Crimea, el autor reunió un corpus de libros antiguos y emisiones de radio. Descubrió que el 79% de las páginas en tártaro de Crimea ya contenía texto bajo la imagen, así que el OCR (reconocimiento de escaneos) solo hizo falta para una quinta parte. En cambio, la prensa periódica escondía sustituciones turcas: en la nueva versión del modelo, la proporción de formas turcas en las respuestas subió del 0,27% al 2,02%. La conclusión: primero cuente la composición del archivo y calcule las métricas por fuente.

Procesado por IA desde Habr AI; editado por Hamidun News
Un corpus para el tártaro de Crimea: el 79% de las páginas no necesitó OCR, pero se coló el turco
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Duplicados por contenido7,0% de las páginas; por nombre de archivo no se detectan
Dato clave #2Tres fuentes aportaron el 46% de todos los tokens turcos; catorce, el 76%
Dato clave #3La sustitución automática n → ñ se revirtió: «niños» se convertía en «tus niños»

Cuando una lengua no tiene ni un solo dataset decente, la pregunta no es «qué modelo elegir», sino «con qué entrenar». El autor de una serie de artículos en Habr sobre el tártaro de Crimea contó cómo reunió un corpus para reconocimiento de voz, síntesis de voz y un modelo de lenguaje. La cifra principal: en el 79% de las páginas en tártaro de Crimea de libros antiguos, el texto ya estaba bajo la imagen de la página, de modo que el costoso reconocimiento de escaneos (OCR) solo hizo falta para la quinta parte restante.

La segunda cifra es más incómoda: en la nueva versión del modelo de lenguaje, la proporción de formas turcas en las respuestas subió del 0,27% al 2,02%, porque se filtraron a los datos textos escritos a la manera turca. Si usted reúne un corpus de lenguas minoritarias o de archivos internos de una empresa, este análisis le puede ahorrar meses.

Primero, contar qué hay en el archivo

El autor disponía de libros y publicaciones periódicas de distintos años, grabaciones de emisiones, audiolibros, diccionarios y grabaciones de profesores. Casi nada era un dataset listo por sí solo: un libro sigue siendo un PDF, una emisión son horas de audio sin texto y, en un audiolibro, el sonido y el texto viven por separado. El plan parecía evidente: los libros antiguos existen sobre todo como escaneos, así que hace falta OCR. Pero el OCR se equivoca en esta lengua, sobre todo con las letras que no existen en ruso, y además es lento y caro.

Antes de lanzarlo, el autor calculó la proporción de páginas por categoría. Los libros rusos ocuparon el 32,2%; los turcos, el 13,9%; el cirílico tártaro de Crimea con capa de texto, el 28,2%; y el alfabeto latino con capa de texto, el 3,9%. Entre las páginas exclusivamente en tártaro de Crimea, el 79% ya llevaba texto real, que se obtiene sin reconocimiento. La rama cara resultó ser la menor mitad del botín.

Pero «hay texto» no significa «el texto es bueno»: en su día, la capa la creó un programa ajeno. Aparecieron tres defectos. El primero, un signo blando en lugar de un signo duro («къаплангьан» en vez de «къаплангъан»): las combinaciones «кь» y «гь» no existen en el cirílico tártaro de Crimea, así que la sustitución es mecánica.

Antes de aplicarla, la probaron sobre un texto sano de antemano, donde no debía cambiar ni un solo carácter: cero cambios. Solo entonces corrigieron decenas de miles de páginas. El segundo, una codificación errónea: la «ı» turca se convertía en «ý» y la «ş» en «þ», y también esto es reversible.

El tercero, los duplicados: por nombre de archivo casi no se encontraban copias, pero por contenido (comparando fragmentos de ocho palabras) se hallaron 7,0% de repeticiones. Sin esa limpieza, el modelo habría visto algunos textos dos veces y, en la evaluación, habría «reconocido» lo que debía ver por primera vez.

La decisión se tomó por página, no por libro: en un mismo tomo, un cirílico limpio puede convivir con un alfabeto latino estropeado. La calidad se midió por la proporción de palabras que empiezan con una raíz del diccionario. La coincidencia exacta no servía: la lengua es aglutinante, a la raíz se le enganchan cadenas de terminaciones, y esa medición no distinguía un buen libro (3% de aciertos) de uno roto (2%). Control: seis libros rusos al azar fueron rechazados en el 100% de sus páginas; seis turcos, en el 74%, aunque dos de los seis pasaron. Resultado: hubo aproximadamente diez veces más texto utilizable que en el núcleo anterior del corpus.

El turco que se hace pasar por tártaro de Crimea

Un día el modelo respondió «Ayt, men dinlemeye hazırım», cuando lo correcto es «Ayt, men diñlemege azırım»: las raíces son las mismas, la forma es turca. En 524 consultas de prueba, la proporción de tokens latinos con forma turca fue del 2,02% en la nueva versión, frente al 0,27% en la anterior, es decir, 7,5 veces más. El detector está calibrado por ambos lados: en prosa tártara de Crimea limpia marca el 0,03%; en turco auténtico, el 11,75%.

Con el mismo instrumento, el autor revisó el corpus. En el corte con el que se entrenó esa versión había un 0,41% de formas turcas; en el siguiente, un 0,93%, 2,3 veces más. El daño estaba concentrado en pocos sitios: tres fuentes aportaron el 46% de todos los tokens marcados; catorce, el 76%. Resultó ser prensa publicada fuera de Crimea, donde el texto en tártaro de Crimea suele escribirse a la turca. Los rastreos web amplios, de los que el autor sospechó primero, resultaron ser las más limpias entre las grandes fuentes.

Un identificador de idioma corriente no sirve aquí: responde a «¿es nuestra lengua o no?», y las lenguas emparentadas comparten demasiadas raíces. De los más de diez mil fragmentos sobrantes que encontró, solo 40 tenían rasgos turcos.

Por eso los detectores se construyeron por contraste: buscaban formas que no existen en tártaro de Crimea, por ejemplo el nombre verbal en dativo en «-meye» en lugar de «-mege». Cada detector se probó en ambos sentidos y la decisión se tomó sobre la línea completa: la terminación «-yor» apareció en cientos de líneas y ninguna resultó ser turca. Otro detector encontró varias decenas de fragmentos en kazajo, tártaro y uzbeko.

Varios miles de fragmentos fueron a cuarentena, con la marca de su origen y de la regla que se activó; no se eliminó nada.

Por qué se revirtió la sustitución automática

La tentación era normalizar la grafía turca: k → q, n → ñ. La regla permitía la sustitución si la forma original no estaba en el diccionario y la resultante sí. El autor aplicó varios cientos de estas sustituciones a un corte preliminar, revisó el diff y las revirtió. El diccionario comprueba que el resultado sea una palabra tártara de Crimea, pero no que sea la palabra que se quería decir. «Balaların» («de los niños») se convertía en «balalarıñ» («tus niños»); «atın» en «atıñ» («tu caballo» en lugar de «del caballo»). Un normalizador que produce errores verosímiles es peor que uno que no hace nada. Las sustituciones quedaron en un archivo aparte como propuesta.

Las formas dialectales, como el «ben» de la costa sur en lugar del «men» literario, no se eliminaron del corpus, aunque los detectores de turco las señalen: en las respuestas del modelo se cuentan como una categoría aparte.

La conclusión práctica: cuente la composición del archivo antes del procesamiento caro, compruebe las correcciones sobre datos sanos de antemano, calcule las métricas de calidad por cada fuente y no deje que la automatización «arregle» lo que no entiende. La limitación del método también es clara: el turco se filtra en parte a través del diccionario de la lengua emparentada, y no hay una protección total.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Primero, contar qué hay en el archivo?

El autor disponía de libros y publicaciones periódicas de distintos años, grabaciones de emisiones, audiolibros, diccionarios y grabaciones de profesores. Casi nada era un dataset listo por sí solo: un libro sigue siendo un PDF, una emisión son horas de audio sin texto y, en un audiolibro, el sonido y el texto viven por separado. El plan parecía evidente: los libros antiguos existen sobre todo como escaneos, así que hace falta OCR.

¿Qué se sabe sobre El turco que se hace pasar por tártaro de Crimea?

Un día el modelo respondió «Ayt, men dinlemeye hazırım», cuando lo correcto es «Ayt, men diñlemege azırım»: las raíces son las mismas, la forma es turca. En 524 consultas de prueba, la proporción de tokens latinos con forma turca fue del 2,02% en la nueva versión, frente al 0,27% en la anterior, es decir, 7,5 veces más. El detector está calibrado por ambos lados: en prosa tártara de Crimea limpia marca el 0,03%; en turco auténtico, el 11,75%. Con el mismo instrumento, el autor revisó el corpus.

¿Qué se sabe sobre Por qué se revirtió la sustitución automática?

La tentación era normalizar la grafía turca: k → q, n → ñ. La regla permitía la sustitución si la forma original no estaba en el diccionario y la resultante sí. El autor aplicó varios cientos de estas sustituciones a un corte preliminar, revisó el diff y las revirtió. El diccionario comprueba que el resultado sea una palabra tártara de Crimea, pero no que sea la palabra que se quería decir.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…