Нейросеть для речи работает как текстовая — исследование Apple

Apple ML Research доказала, что нейросети для речи масштабируются так же предсказуемо, как и текстовые модели благодаря новой метрике pJSD, хотя пока речевые системы уступают текстовым по качеству.

Почему речевые модели отстают от текстовых

Языковые модели, работающие напрямую со звуком без промежуточного текстового представления — так называемые speech-only SLM, — пока существенно уступают текстовым и мультимодальным системам. Это кажется парадоксом: голосовые интерфейсы востребованы, аудиоданных предостаточно, а прогресс медленный.

Доминирующий подход — дискретные авторегрессионные SLM (AR SLM) — сначала преобразует непрерывный аудиосигнал в дискретные токены, аналогично тому, как текстовые модели работают со словами. Проблема в том, что речь устроена принципиально иначе, чем письменный язык: дискретизация неизбежно теряет акустические детали, несущие смысловую нагрузку. Для компенсации потерь AR-модели требуют колоссальных вычислительных ресурсов и огромных обучающих датасетов — это делает их дорогостоящими и сложно масштабируемыми.

Как непрерывная диффузия обходит ограничения

Непрерывная диффузия (CD) предлагает кардинально иной подход: работать напрямую с непрерывными представлениями аудиосигнала, полностью минуя дискретизацию. Это устраняет информационные потери на входе и потенциально делает обучение более эффективным.

Однако оставался ключевой вопрос: подчиняются ли CD-модели законам масштабирования? Именно они стали фундаментом современных больших языковых моделей — предсказывают, как качество растёт при увеличении числа параметров и объёма данных. Без предсказуемого масштабирования вкладывать в архитектуру крупные ресурсы рискованно: нет гарантии, что инвестиции окупятся.

Apple исследовала оба типа метрик. Ключевые выводы:

• CD SLM демонстрируют чёткие законы масштабирования для потерь на валидационной выборке
• Метрика pJSD (лингвистическое качество) снижается предсказуемо при росте вычислений
• Выявлено оптимальное соотношение числа токенов к числу параметров — речевой аналог закона Чинчиллы для текстовых LLM
• Характер масштабирования CD-моделей близко соответствует поведению AR-моделей

Зачем нужна новая метрика pJSD

Стандартные метрики — в первую очередь потери (loss) — измеряют точность воспроизведения обучающего распределения, но слабо отражают, насколько содержательна речь модели с лингвистической точки зрения. Apple ввела phoneme Jensen-Shannon divergence (pJSD).

Метрика вычисляет расхождение между распределением фонем в сгенерированной моделью речи и реальной человеческой речи. Чем ближе значение к нулю, тем более «человекоподобна» речь в лингвистическом смысле. Принципиально важно, что pJSD применима к обеим архитектурам — AR и CD, — что позволяет корректно сравнивать принципиально разные подходы на единой шкале.

«Чтобы количественно оценить лингвистическое качество речевых языковых моделей, мы вводим метрику pJSD — дивергенцию

Дженсена–Шэннона на уровне фонем», — говорится в статье Apple ML Research.

Что это значит

Исследование Apple снимает ключевую неопределённость в области речевого AI: непрерывная диффузия масштабируется предсказуемо и сопоставима с авторегрессионным подходом. Это даёт исследователям и компаниям обоснование для долгосрочных инвестиций в CD-архитектуру. Речевые AI-системы нового поколения смогут работать без промежуточного текста — что потенциально сделает голосовое взаимодействие более естественным и вычислительно эффективным.

Что такое нейросеть для речи?

Это языковая модель, работающая напрямую со звуком без промежуточного текстового представления, — речевая языковая модель (speech-only SLM).