Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Для крымскотатарского собрали корпус: 79% страниц не требовали OCR, но подмешался турецкий

Чтобы обучить нейросеть крымскотатарскому, автор собрал корпус из старых книг и эфиров — и выяснил, что 79% крымскотатарских страниц уже содержат текст под картинкой, так что OCR (распознавание сканов) нужен лишь для пятой части. Зато в периодике нашлись турецкие подмены: у новой модели доля турецких форм в ответах выросла с 0,27% до 2,02%. Вывод: сначала считайте состав архива и прогоняйте метрики по источникам.

AI-обработка оригинала Habr AI; редакция Hamidun News
Для крымскотатарского собрали корпус: 79% страниц не требовали OCR, но подмешался турецкий
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Повторы по содержимому7,0% страниц, по именам файлов их не поймать
Ключевой факт #2Три источника дали 46% всех турецких токенов, четырнадцать — 76%
Автозамену n → ñ откатили«детей» превращалось в «твои дети»

Когда у языка нет ни одного нормального датасета, вопрос звучит не «какую модель взять», а «на чём вообще учиться». Автор серии статей на Habr про крымскотатарский язык рассказал, как собирал корпус для распознавания речи, синтеза голоса и языковой модели. Главная цифра: у 79% крымскотатарских страниц старых книг текст уже лежал под картинкой страницы, поэтому дорогое распознавание сканов (OCR) понадобилось только для оставшейся пятой части. Вторая цифра неприятнее: у новой версии языковой модели доля турецких форм в ответах выросла с 0,27% до 2,02%, потому что в данные просочились тексты, написанные на турецкий манер. Если вы собираете корпус из редких языков или внутренних архивов компании, этот разбор экономит месяцы.

Сначала посчитать, что лежит в архиве

У автора были книги и периодика разных лет, записи эфиров, аудиокниги, словари и записи учителей. Готовым датасетом по отдельности не было почти ничего: книга остаётся PDF, эфир — часами звука без текста, у аудиокниги звук и текст живут отдельно. План выглядел очевидным: старые книги существуют в основном как сканы, значит, нужен OCR. Он на этом языке ошибается, особенно на буквах, которых нет в русском, и обходится долго и дорого.

Прежде чем запускать, автор посчитал доли страниц по категориям. Русские книги заняли 32,2%, турецкие — 13,9%, крымскотатарская кириллица с текстовым слоем — 28,2%, латиница с текстовым слоем — 3,9%. Среди одних только крымскотатарских страниц 79% уже несли настоящий текст, который достаётся без распознавания. Дорогая ветка оказалась меньшей половиной добычи.

Но «текст есть» не значит «текст хороший»: слой когда-то создала чужая программа. Нашлись три дефекта. Первый — мягкий знак вместо твёрдого («къаплангьан» вместо «къаплангъан»): сочетаний «кь» и «гь» в крымскотатарской кириллице нет, замена механическая. Перед применением её прогнали по заведомо здоровому тексту, где не должно измениться ни одного символа, — изменений ноль, и только потом исправили десятки тысяч страниц. Второй — неверная кодировка: турецкая «ı» превращалась в «ý», «ş» в «þ», и это тоже обратимо. Третий — дубли: по именам файлов копии почти не находились, а по содержимому (сравнение фрагментов из восьми слов) нашлось 7,0% повторов. Без этого модель видела бы одни тексты дважды, а при проверке «узнавала» бы то, что должна видеть впервые.

Решение принимали по странице, а не по книге: в одном томе чистая кириллица может соседствовать с испорченной латиницей. Качество оценивали по доле слов, которые начинаются со словарного корня. Точное совпадение не годилось: язык агглютинативный, к корню цепляются цепочки окончаний, и такой замер не отличал хорошую книгу (3% попаданий) от сломанной (2%). Контроль: шесть случайных русских книг отклонены на 100% страниц, шесть турецких — на 74%, но две книги из шести прошли. Итог: пригодного текста стало примерно в десять раз больше, чем в прежнем ядре корпуса.

Турецкий, который притворяется крымскотатарским

Однажды модель ответила «Ayt, men dinlemeye hazırım», а правильно «Ayt, men diñlemege azırım»: корни те же, форма турецкая. На 524 проверочных запросах доля латинских токенов с турецкой формой у новой версии составила 2,02% против 0,27% у предыдущей, то есть в 7,5 раза больше. Детектор откалиброван с обеих сторон: на чистой крымскотатарской прозе он даёт 0,03%, на настоящей турецкой — 11,75%.

Тем же прибором автор просмотрел корпус. В срезе, на котором училась версия, турецких форм было 0,41%, в следующем — 0,93%, в 2,3 раза больше. Порча сидела в нескольких местах: три источника дали 46% всех помеченных токенов, четырнадцать — 76%. Это оказалась периодика, выходящая за пределами Крыма, где крымскотатарский текст часто записан по-турецки. Широкие веб-обходы, на которые автор грешил первыми, оказались самыми чистыми из крупных источников.

Обычный определитель языка тут слеп: он отвечает «наш язык или нет?», а у родственных языков слишком много общих корней. Из более чем десяти тысяч найденных им лишних кусков турецкие признаки были только у 40. Поэтому детекторы построили от противного: искали формы, которых в крымскотатарском не бывает, например глагольное имя в дательном падеже на «-meye» вместо «-mege». Каждый детектор проверяли в обе стороны, а решение принимали по строке целиком: окончание «-yor» нашлось в сотнях строк, и ни одна не оказалась турецкой. Ещё один детектор нашёл несколько десятков кусков на казахском, татарском и узбекском. Несколько тысяч фрагментов ушли в карантин с пометкой происхождения и сработавшего правила, ничего не удалено.

Почему автозамену откатили

Соблазн был нормализовать турецкое написание: k → q, n → ñ. Правило разрешало замену, если исходной формы нет в словаре, а получившаяся есть. Автор применил несколько сотен таких замен к черновому срезу, посмотрел дифф и откатил. Словарь проверяет, что результат — крымскотатарское слово, но не то ли это слово, что имелось в виду. «Balaların» («детей») превращалось в «balalarıñ» («твои дети»), «atın» в «atıñ» («твоя лошадь» вместо «лошади»). Нормализатор, который производит правдоподобные ошибки, хуже нормализатора, который ничего не делает. Замены остались в отдельном файле как предложение.

Диалектные формы вроде южнобережного «ben» вместо литературного «men» из корпуса не вычищали, хотя турецкие детекторы к ним придираются: в ответах модели их считают отдельной категорией.

Практический вывод: считайте состав архива до дорогой обработки, проверяйте исправления на заведомо здоровых данных, прогоняйте метрики качества по каждому источнику и не давайте автоматике «чинить» то, что она не понимает. Ограничение метода тоже честное: турецкий частично протекает через словарь родственного языка, и стопроцентной защиты нет.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: сначала посчитать, что лежит в архиве?

У автора были книги и периодика разных лет, записи эфиров, аудиокниги, словари и записи учителей. Готовым датасетом по отдельности не было почти ничего: книга остаётся PDF, эфир — часами звука без текста, у аудиокниги звук и текст живут отдельно. План выглядел очевидным: старые книги существуют в основном как сканы, значит, нужен OCR. Он на этом языке ошибается, особенно на буквах, которых нет в русском, и обходится долго и дорого. Прежде чем запускать, автор посчитал доли страниц по категориям.

Что известно по теме: турецкий, который притворяется крымскотатарским?

Однажды модель ответила «Ayt, men dinlemeye hazırım», а правильно «Ayt, men diñlemege azırım»: корни те же, форма турецкая. На 524 проверочных запросах доля латинских токенов с турецкой формой у новой версии составила 2,02% против 0,27% у предыдущей, то есть в 7,5 раза больше. Детектор откалиброван с обеих сторон: на чистой крымскотатарской прозе он даёт 0,03%, на настоящей турецкой — 11,75%. Тем же прибором автор просмотрел корпус.

Что известно по теме: почему автозамену откатили?

Соблазн был нормализовать турецкое написание: k → q, n → ñ. Правило разрешало замену, если исходной формы нет в словаре, а получившаяся есть. Автор применил несколько сотен таких замен к черновому срезу, посмотрел дифф и откатил. Словарь проверяет, что результат — крымскотатарское слово, но не то ли это слово, что имелось в виду. «Balaların» («детей») превращалось в «balalarıñ» («твои дети»), «atın» в «atıñ» («твоя лошадь» вместо «лошади»).

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…