Открытая Apriel Voice 27B набрала 98,90 в Big Bench Audio и 81,13 в Speech-BFCL

Исследователи проекта Apriel представили Apriel Voice 27B Preview — открытую речевую языковую модель, которая объединяет понимание голоса, рассуждение и вызов инструментов в одном общем backbone. В режиме рассуждений она набирает 98,90 на Big Bench Audio (набор вопросов на рассуждение, поданных в виде аудио) и 81,13 на Speech-BFCL (речевая версия бенчмарка вызова функций Berkeley Function-Calling Leaderboard). Средняя задержка ответа составляет 1,91 секунды. Основа модели — дообученный чекпойнт Gemma 4 26B-A4B: архитектура mixture-of-experts с примерно 26 млрд параметров всего и около 4 млрд активных на токен. Apriel Voice принимает речь напрямую, сохраняет входы для текста и изображений и сама генерирует и ответы, и вызовы инструментов — отдельная диалоговая модель не нужна.

Что показали бенчмарки

Кроме двух основных результатов, средняя успешность выполнения задач в голосовом бенчмарке Voice составляет 65,51%. На английском EVA-Bench, который измеряет и точность сервиса, и качество взаимодействия, точность достигает 51,27%, а оценка опыта pass@1 — 74,13%. Авторы называют это сильным результатом для открытой модели, чьи речевые способности распространяются на рассуждение и действия.

Отдельно подчёркивается, что одной точности распознавания голосовому агенту мало: модель может верно расшифровать просьбу и всё равно не выполнить ограничения или не вызвать нужный инструмент. Поэтому речь оценивали как интерфейс к общим способностям — рассуждению, следованию инструкциям, диалогу и завершению задач — наряду с распознаванием и переводом. В отчёте также сравниваются режимы с рассуждением и без него, охват языков и сохранность навыков работы с текстом и изображениями.

Архитектура: энкодер, проектор и общий backbone

Звук проходит через замороженный энкодер Whisper large-v3-turbo, который выдаёт 1280-мерные акустические признаки. Обучаемый проектор склеивает по восемь соседних кадров и пропускает их через линейные слои с SwiGLU-гейтом в 2816-мерное пространство декодера. Конструкция заимствована у Ultravox, а размер проектора — ровно 47 722 496 параметров, около 47,7 млн. Транскрипт при выводе не создаётся: декодер получает акустические представления напрямую.

Исполнение инструментов и синтез речи вынесены за пределы модели. Приложение запускает инструменты, возвращает результаты в тот же контекст и отправляет текст ответа в заменяемый синтезатор речи. Определение конца реплики и обработка прерываний тоже работают вокруг модели. Благодаря этому голос или систему синтеза можно сменить без переобучения самой модели рассуждений.

Как модель учили

Задача — добавить уже сильному декодеру речевой интерфейс и не потерять прежние способности. На первом этапе проектор учат на многоязычной транскрипции, переводе и продолжении речи при замороженном backbone. На втором этапе вместе обновляются проектор и backbone: используются речевые задачи, внутренне сгенерированные диалоги, примеры работы с инструментами и повтор текстовых данных.

Для каждого источника данных комбинируются кросс-энтропия и прямая дивергенция Кульбака — Лейблера. Первая учит целевым ответам и вызовам инструментов, вторая переносит поведение замороженной копии исходного backbone и ограничивает забывание. Такой учитель нужен только при обучении, при выводе его нет.

Диалоги сначала создаются как текст, затем автоматически переводятся в речь: выбираются фрагменты, внутри каждого диалога используется один референсный голос, а точность конверсии проверяется. Инженерная часть включает локальный запуск учителя, перекрытие вычислений учителя и студента, fused-ядра для потерь по полному словарю и согласованное сохранение чекпойнтов.

Что это значит

Для практиков интересен сам рецепт: взять сильную текстовую модель, добавить речевой проектор и сохранить её поведение через дистилляцию, а не собирать каскад из распознавания речи, LLM и синтеза. Это Preview-версия, а для живых разговоров авторы развернули собственную платформу Apriel Live.