Для крымскотатарского собрали корпус: 79% страниц не требовали OCR, но подмешался турецкий
Чтобы обучить нейросеть крымскотатарскому, автор собрал корпус из старых книг и эфиров — и выяснил, что 79% крымскотатарских страниц уже содержат текст под картинкой, так что OCR (распознавание сканов) нужен лишь для пятой части. Зато в периодике нашлись турецкие подмены: у новой модели доля турецких форм в ответах выросла с 0,27% до 2,02%. Вывод: сначала считайте состав архива и прогоняйте метрики по источникам.
AI-обработка оригинала Habr AI; редакция Hamidun News
Когда у языка нет ни одного нормального датасета, вопрос звучит не «какую модель взять», а «на чём вообще учиться». Автор серии статей на Habr про крымскотатарский язык рассказал, как собирал корпус для распознавания речи, синтеза голоса и языковой модели. Главная цифра: у 79% крымскотатарских страниц старых книг текст уже лежал под картинкой страницы, поэтому дорогое распознавание сканов (OCR) понадобилось только для оставшейся пятой части. Вторая цифра неприятнее: у новой версии языковой модели доля турецких форм в ответах выросла с 0,27% до 2,02%, потому что в данные просочились тексты, написанные на турецкий манер. Если вы собираете корпус из редких языков или внутренних архивов компании, этот разбор экономит месяцы.
Сначала посчитать, что лежит в архиве
У автора были книги и периодика разных лет, записи эфиров, аудиокниги, словари и записи учителей. Готовым датасетом по отдельности не было почти ничего: книга остаётся PDF, эфир — часами звука без текста, у аудиокниги звук и текст живут отдельно. План выглядел очевидным: старые книги существуют в основном как сканы, значит, нужен OCR. Он на этом языке ошибается, особенно на буквах, которых нет в русском, и обходится долго и дорого.
Прежде чем запускать, автор посчитал доли страниц по категориям. Русские книги заняли 32,2%, турецкие — 13,9%, крымскотатарская кириллица с текстовым слоем — 28,2%, латиница с текстовым слоем — 3,9%. Среди одних только крымскотатарских страниц 79% уже несли настоящий текст, который достаётся без распознавания. Дорогая ветка оказалась меньшей половиной добычи.
Но «текст есть» не значит «текст хороший»: слой когда-то создала чужая программа. Нашлись три дефекта. Первый — мягкий знак вместо твёрдого («къаплангьан» вместо «къаплангъан»): сочетаний «кь» и «гь» в крымскотатарской кириллице нет, замена механическая. Перед применением её прогнали по заведомо здоровому тексту, где не должно измениться ни одного символа, — изменений ноль, и только потом исправили десятки тысяч страниц. Второй — неверная кодировка: турецкая «ı» превращалась в «ý», «ş» в «þ», и это тоже обратимо. Третий — дубли: по именам файлов копии почти не находились, а по содержимому (сравнение фрагментов из восьми слов) нашлось 7,0% повторов. Без этого модель видела бы одни тексты дважды, а при проверке «узнавала» бы то, что должна видеть впервые.
Решение принимали по странице, а не по книге: в одном томе чистая кириллица может соседствовать с испорченной латиницей. Качество оценивали по доле слов, которые начинаются со словарного корня. Точное совпадение не годилось: язык агглютинативный, к корню цепляются цепочки окончаний, и такой замер не отличал хорошую книгу (3% попаданий) от сломанной (2%). Контроль: шесть случайных русских книг отклонены на 100% страниц, шесть турецких — на 74%, но две книги из шести прошли. Итог: пригодного текста стало примерно в десять раз больше, чем в прежнем ядре корпуса.
Турецкий, который притворяется крымскотатарским
Однажды модель ответила «Ayt, men dinlemeye hazırım», а правильно «Ayt, men diñlemege azırım»: корни те же, форма турецкая. На 524 проверочных запросах доля латинских токенов с турецкой формой у новой версии составила 2,02% против 0,27% у предыдущей, то есть в 7,5 раза больше. Детектор откалиброван с обеих сторон: на чистой крымскотатарской прозе он даёт 0,03%, на настоящей турецкой — 11,75%.
Тем же прибором автор просмотрел корпус. В срезе, на котором училась версия, турецких форм было 0,41%, в следующем — 0,93%, в 2,3 раза больше. Порча сидела в нескольких местах: три источника дали 46% всех помеченных токенов, четырнадцать — 76%. Это оказалась периодика, выходящая за пределами Крыма, где крымскотатарский текст часто записан по-турецки. Широкие веб-обходы, на которые автор грешил первыми, оказались самыми чистыми из крупных источников.
Обычный определитель языка тут слеп: он отвечает «наш язык или нет?», а у родственных языков слишком много общих корней. Из более чем десяти тысяч найденных им лишних кусков турецкие признаки были только у 40. Поэтому детекторы построили от противного: искали формы, которых в крымскотатарском не бывает, например глагольное имя в дательном падеже на «-meye» вместо «-mege». Каждый детектор проверяли в обе стороны, а решение принимали по строке целиком: окончание «-yor» нашлось в сотнях строк, и ни одна не оказалась турецкой. Ещё один детектор нашёл несколько десятков кусков на казахском, татарском и узбекском. Несколько тысяч фрагментов ушли в карантин с пометкой происхождения и сработавшего правила, ничего не удалено.
Почему автозамену откатили
Соблазн был нормализовать турецкое написание: k → q, n → ñ. Правило разрешало замену, если исходной формы нет в словаре, а получившаяся есть. Автор применил несколько сотен таких замен к черновому срезу, посмотрел дифф и откатил. Словарь проверяет, что результат — крымскотатарское слово, но не то ли это слово, что имелось в виду. «Balaların» («детей») превращалось в «balalarıñ» («твои дети»), «atın» в «atıñ» («твоя лошадь» вместо «лошади»). Нормализатор, который производит правдоподобные ошибки, хуже нормализатора, который ничего не делает. Замены остались в отдельном файле как предложение.
Диалектные формы вроде южнобережного «ben» вместо литературного «men» из корпуса не вычищали, хотя турецкие детекторы к ним придираются: в ответах модели их считают отдельной категорией.
Практический вывод: считайте состав архива до дорогой обработки, проверяйте исправления на заведомо здоровых данных, прогоняйте метрики качества по каждому источнику и не давайте автоматике «чинить» то, что она не понимает. Ограничение метода тоже честное: турецкий частично протекает через словарь родственного языка, и стопроцентной защиты нет.
- 26 июл. 2026 г.SIFT: самообучающийся классификатор документов, который переобучается без человека
- 9 окт. 2026 г.Wieszcz-XIX: польский корпус до 1918 года на 3,1 млрд слов обучил модели с нуля
- 2 мая 2026 г.NVIDIA представила Nemotron OCR v2: мультиязычный OCR на 12,2 млн синтетических документов
- 12 нояб. 2026 г.Claude Fable 5.2 с нуля спроектировала три электронных устройства по короткому промпту
Вопросы и ответы по материалу
Что известно по теме: сначала посчитать, что лежит в архиве?
У автора были книги и периодика разных лет, записи эфиров, аудиокниги, словари и записи учителей. Готовым датасетом по отдельности не было почти ничего: книга остаётся PDF, эфир — часами звука без текста, у аудиокниги звук и текст живут отдельно. План выглядел очевидным: старые книги существуют в основном как сканы, значит, нужен OCR. Он на этом языке ошибается, особенно на буквах, которых нет в русском, и обходится долго и дорого. Прежде чем запускать, автор посчитал доли страниц по категориям.
Что известно по теме: турецкий, который притворяется крымскотатарским?
Однажды модель ответила «Ayt, men dinlemeye hazırım», а правильно «Ayt, men diñlemege azırım»: корни те же, форма турецкая. На 524 проверочных запросах доля латинских токенов с турецкой формой у новой версии составила 2,02% против 0,27% у предыдущей, то есть в 7,5 раза больше. Детектор откалиброван с обеих сторон: на чистой крымскотатарской прозе он даёт 0,03%, на настоящей турецкой — 11,75%. Тем же прибором автор просмотрел корпус.
Что известно по теме: почему автозамену откатили?
Соблазн был нормализовать турецкое написание: k → q, n → ñ. Правило разрешало замену, если исходной формы нет в словаре, а получившаяся есть. Автор применил несколько сотен таких замен к черновому срезу, посмотрел дифф и откатил. Словарь проверяет, что результат — крымскотатарское слово, но не то ли это слово, что имелось в виду. «Balaların» («детей») превращалось в «balalarıñ» («твои дети»), «atın» в «atıñ» («твоя лошадь» вместо «лошади»).
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.