Qwen-Audio-3.1-ASR: 30 языков, 16 диалектов и диаризация в одной модели

Qwen представила технический отчёт по Qwen-Audio-3.1-ASR — семейству аудио-языковых моделей, которое развивает линейку Qwen-Audio-3.0-ASR. Базовые параметры сохранились: 30 языков и 16 китайских диалектов. Зато заметно расширился круг задач. Модель теперь размечает речь по спикерам с таймстампами и отвечает на вопросы о содержании аудио, включая музыку и посторонние звуки. Фактически ASR-модель превращается в универсальный аудиоаналитик.

Диаризация, которая держит спикеров на дистанции

Самое прикладное обновление — транскрибация с разделением по говорящим. На выходе не сплошной текст, а структура: метка спикера, временной интервал, распознанная фраза. Авторы отдельно подчёркивают два момента, на которых обычно ломаются такие системы. Первый — согласованность меток между репликами: Спикер 1 в начале записи должен оставаться Спикером 1 и через сорок минут. Второй — перекрывающаяся речь, когда двое говорят одновременно. Для созвонов, интервью и колл-центров это базовая боль: если модель путает людей или «склеивает» перебивающие реплики, расшифровка теряет ценность.

Отчёт охватывает оценку и такого сценария: бенчмарки разделены на классический ASR, многоязычную и диалектную речь, диаризованную транскрибацию и общее понимание аудио.

Управление через инструкции

Вторая линия развития — поведение модели можно настраивать текстовыми подсказками. Семейство сохранило три механизма:

• Условие на исторический контекст. Модель учитывает предыдущие фрагменты разговора, что помогает с омонимами и именами собственными.
• Иерархические хотворды. Словари терминов, имён и названий можно задавать с приоритетами, а не плоским списком.
• Нативная полировка транскрипта. Модель сама убирает оговорки, расставляет пунктуацию и приводит текст к читаемому виду без отдельного постпроцессинга.

Важно, что всё это управляется инструкциями, а не дообучением. Для компаний с узкой лексикой, например медицинской, юридической или финансовой, такой подход заметно дешевле, чем тренировать собственную модель под каждый домен.

Общее понимание аудио охватывает:

• описание аудио, речи и музыки (captioning);
• временную привязку и детекцию звуковых событий;
• ответы на вопросы по аудио;
• вопросы с выбором ответа, требующие рассуждения.

Это сдвигает область применения от «что сказано» к «кто сказал, что звучало вокруг и в какой момент».

Четыре режима под разные сценарии

Семейство разбито на варианты под разные условия развёртывания: асинхронная расшифровка файлов, стриминг с низкой задержкой, интерактивный голосовой ввод и нестриминговое распознавание. Диаризация и общее понимание аудио доступны не во всех вариантах, а только в некоторых. Это логично: стриминг с минимальной задержкой и глубокий анализ длинной записи требуют разных компромиссов между скоростью и качеством.

Кому это пригодится первыми

Больше всех выигрывают те, кто работает с длинными записями на нескольких языках. Это сервисы расшифровки встреч, медиа с архивами интервью, контакт-центры и платформы для видеоконтента. Один API-контур вместо связки из распознавателя, диаризатора и отдельной модели для анализа звука упрощает архитектуру и снижает число точек отказа.

Поддержка 16 китайских диалектов делает семейство особенно интересным для рынка Китая и диаспор, где стандартные ASR-системы заметно хуже справляются с региональной речью. Для разработчиков голосовых интерфейсов вариант с низкой задержкой и интерактивным вводом закрывает сценарий ассистентов.

Прежде чем внедрять, стоит проверить конкретные варианты: диаризация есть не во всех. Тестировать лучше на собственных записях с перебиваниями и шумом, где такие модели обычно и расходятся с заявленным качеством.