Синтезированный голос прочитал роман за 1 ч 58 мин, а ломалась обвязка

Синтезированный голос прочитал роман целиком: 16 глав, 15 444 слова, 1 ч 58 мин звучания. По словам автора серии статей на Habr, голос держался ровно все два часа. Почти все поломки нашлись не в самой модели, а в коде вокруг неё. Проверочный набор из 14 фраз, по которому сравнивались версии модели, ни одной из них не показал.

Текстом для эксперимента стал роман Шамиля Алядина «Merdiven» («Лестница»). Это третья статья серии: в первой была таблица с результатами чтения книги, во второй автор обещал отдельно разобрать, что ломалось на длинной дистанции. Названий моделей, источников данных, внутренних скриптов и параметров обучения и декодирования он не раскрывает. В тексте остаются метрики, методика проверки и ошибки, на которые он наступил.

Где на самом деле ломалось

Автор перечисляет пять проблемных зон. Все они относятся к обвязке, то есть к тому, что происходит до и после генерации звука:

• нарезка текста на предложения;
• склейка коротких фраз;
• обрезка вдохов;
• извлечение текста из файла книги;
• разметка времени.

Для инженеров, которые работали с TTS, список знаком. Модель получает аккуратный кусок текста и выдаёт аккуратный кусок звука. Если текст разрезан не по смыслу, короткая реплика («— Нет.») склеена не с тем соседом, а вдох обрезан на полслога, слушатель услышит дефект, хотя метрики самой модели не изменились. Ошибка при извлечении текста из файла книги вообще происходит до синтеза: модель честно озвучит то, что ей подали.

Почему 14 фраз ничего не заметили

Второй вывод автора, пожалуй, интереснее первого. Набор из 14 проверочных фраз служил для сравнения версий модели и с этой задачей, судя по всему, справлялся. Но проблем длинной дистанции он не видел. Оно и понятно: отдельная фраза не содержит стыков между предложениями, не требует нарезки главы и не проверяет, как накапливается разметка времени на двух часах звука.

Есть и более неприятный случай. В одном эпизоде набор не смог отличить хорошую правку от вредной. Для команды, которая принимает решения по таким тестам, это тревожный сигнал: метрика, которая не различает улучшение и ухудшение, превращается в шум.

Цифры помогают оценить масштаб. 15 444 слова за 118 минут дают около 131 слова в минуту, а на главу в среднем приходится примерно 965 слов и 7 минут звука. На такой дистанции стыков между фрагментами намного больше, чем в любом коротком наборе, и каждый стык — потенциальная точка отказа.

Что проверять в своём конвейере

Из материала напрашиваются практические выводы, и они не зависят от конкретной модели.

• Держите рядом с коротким набором хотя бы один длинный прогон: главу или целую книгу. Короткий набор годится для сравнения версий модели, но не для приёмки всего конвейера.
• Тестируйте обвязку отдельно от модели: сегментацию, склейку, обрезку пауз, извлечение текста и разметку времени. Каждому звену нужны свои проверки.
• Начинайте разбор дефектов с текста, который уходит в синтез. Если там ошибка, винить модель бессмысленно.
• Проверяйте сам тест: если он не отличает полезную правку от вредной, решения по его результатам принимать рано.

Автор обещает методику проверки подробнее в самой статье, и именно она будет главной ценностью материала. Пока из анонса следует простая вещь: когда голос звучит стабильно два часа подряд, качество конвейера определяется тем, насколько аккуратно собраны швы.