Открытая модель Apriel Voice 27B набрала 98,90 балла в аудиотесте Big Bench Audio

Исследователи проекта Apriel выпустили Apriel Voice 27B Preview — открытую речевую языковую модель, построенную на дообученном чекпойнте Gemma 4 26B-A4B. Она принимает голос напрямую, рассуждает и вызывает инструменты без отдельной диалоговой модели. В режиме рассуждения модель набрала 98,90 балла в Big Bench Audio — тесте на рассуждение по вопросам, заданным в аудиоформате, — и 81,13 в Speech-BFCL, где проверяется вызов функций по голосовому запросу. Ещё один результат — 65,51% средней успешности задач в голосовом бенчмарке при средней задержке 1,91 секунды.

Одна основа вместо каскада

Классический голосовой ассистент собирают из трёх частей: распознавание речи (ASR), языковая модель и синтез голоса (TTS). Другой подход оставляет голосовому слою только разговор, а рассуждения и инструменты передаёт отдельной бэкенд-модели. В Apriel Voice всё решает одна модель: она понимает речь, отвечает в диалоге и сама выбирает, когда и какой инструмент вызвать. В контексте остаются текст, изображения и результаты вызванных инструментов.

Исходная Gemma 4 26B-A4B — модель типа mixture-of-experts: около 26 млрд параметров всего и около 4 млрд активных на каждый токен. Приложение исполняет инструменты, возвращает результаты в диалог и передаёт текст ответа сменному синтезатору голоса, так что голос можно менять без переобучения модели. Определение конца реплики и обработка перебиваний работают вокруг модели.

Речь попадает в декодер через замороженный энкодер Whisper large-v3-turbo, который выдаёт акустические признаки размерности 1280, и обучаемый проектор. Проектор склеивает по восемь соседних кадров, пропускает их через линейные слои и блок SwiGLU и переводит в пространство эмбеддингов декодера размерности 2816. В нём ровно 47 722 496 параметров. Транскрипт при выводе не создаётся: модель работает с акустическими представлениями напрямую.

Два этапа обучения и онлайн-дистилляция

На первом этапе при замороженной основе обучается только проектор на задачах многоязычной транскрипции, перевода и продолжения речи. На втором этапе проектор и основа дообучаются вместе: используются контролируемое дообучение на речевых задачах, внутренне сгенерированных диалогах и взаимодействиях с инструментами, а также повтор текстовых данных, чтобы модель не теряла прежние навыки.

Речевые диалоги строятся автоматически. Текстовые диалоги задач превращаются в речевые примеры: выбираются фрагменты для озвучивания, в каждом разговоре используется один и тот же эталонный голос, а точность преобразования проверяется отдельно.

Для разных источников данных применяется своя функция потерь: кросс-энтропия, прямая KL-дивергенция (FKL) или их сочетание. Кросс-энтропия учит целевым ответам, а FKL относительно замороженной копии исходной основы переносит её поведение на речевые контексты. Учитель нужен только при обучении, на инференсе его нет.

Чтобы такая схема была вычислительно посильной, авторы запускают учителя локально рядом со студентом, перекрывают вычисления учителя и студента по времени, используют слитые ядра потерь по всему словарю и координированное сохранение чекпойнтов.

Результаты и контекст

Помимо Big Bench Audio и Speech-BFCL, авторы оценивали модель на EVA-Bench, который измеряет и точность сервиса, и качество взаимодействия. В английской версии точность составила 51,27%, а оценка опыта pass@1 — 74,13%. Отчёт также охватывает многоязычное покрытие, влияние режима рассуждения, перевод, корпоративные сценарии и сохранение текстовых и графических способностей.

Метод опирается на известные подходы: связку энкодера и проектора, как в Ultravox и SLAM-ASR, и перенос поведения между модальностями, как в BLSP-KD. Вклад авторов — в том, как выбираются сигналы обучения, в синтетических речевых диалогах и в эффективной реализации онлайн-дистилляции. Это Preview-версия, а все цифры взяты из отчёта самих разработчиков.

Для создателей голосовых агентов важна архитектура: когда понимание речи, рассуждение и вызов инструментов живут в одной открытой модели, в системе меньше стыков между компонентами. Для демонстрации авторы запустили платформу Apriel Live, где модель можно проверить в живых голосовых разговорах.