ElevenLabs Scribe v3: на 27% меньше ошибок в расшифровке речи и разметка спикеров вживую

Любой голосовой продукт начинается с транскрипта. Если в нём «пятнадцать» превратилось в «пятьдесят», ошибка доедет до саммари, CRM и аналитической модели, и чинить её там будет в разы дороже. ElevenLabs выпустила Scribe v3 и Scribe v3 Live — две модели распознавания речи, заточенные под реальный бардак: участники созвона перебивают друг друга, клиент замолкает посреди номера телефона, оба собеседника говорят не на родном языке.

Что изменилось

Scribe v3 рассчитан на записанное аудио. По данным компании, на 102 языках он делает на 27% меньше словесных ошибок, чем Scribe v2, и стал лучше в каждом протестированном языке. Немецкий улучшился на 42%, испанский на 35%, английский на 23%, суахили на 34%, тамильский на 29%, тайский на 28%. Диаризация (разметка «кто что сказал») стала точнее на 12% в целом и на 17% на записях с тремя и более участниками. Именно на таких записях большинство моделей и ломается.

Scribe v3 Live — потоковый вариант с низкой задержкой. Ошибок у него на 43% меньше по семантическому WER (он считает ошибкой только то, что меняет смысл), чем у Scribe v2 Realtime. Главных новинок две. Первая — диаризация в реальном времени: 3,1% ошибок на английской части собственного датасета компании против 5,9–7,3% у других потоковых моделей. Вторая — улучшенное определение конца реплики.

Классический голосовой агент ждёт паузу заданной длины. Короткий таймер — и он перебивает человека, который задумался посреди номера карты. Длинный — и агент кажется тормозом. Scribe v3 Live учитывает не только тишину, но и контекст разговора, поэтому пауза внутри числа не считается концом фразы. Та же логика уже работала в ElevenAgents, теперь её можно подключить через API (параметр commitStrategy со значением turn_prediction).

Есть и больше контроля над результатом. Keyterm prompting принимает до 1000 терминов, которые наверняка прозвучат: названия брендов, аббревиатуры, жаргон. Числа можно возвращать цифрами или словами. Правила форматирования задаются обычным языком, например «записывай все даты как YYYY-MM-DD». У Live добавился мультиязычный режим для разговоров, где язык меняется прямо посреди фразы, например хинди с английским. Ещё там есть keyterm library: в ней лежат тысячи терминов, которые могут встретиться, и модель заглядывает туда, только если слышит вероятное совпадение. Это удобно для каталога товаров или списка лекарств.

Сколько стоят несколько процентов

Проценты в релизах плохо ощущаются, поэтому ElevenLabs переводит их в минуты. Час встречи при 150 словах в минуту — около 9000 слов. Разница между 4% и 2% WER — это 180 неверных слов, то есть три на каждую минуту речи. Диаризация меряется временем: каждый пункт ошибки означает 36 секунд речи под чужим именем.

Цена ошибки зависит от места. В расшифровке подкаста неверное слово — опечатка. В отчёте о прибылях «пятнадцать», услышанное как «пятьдесят», попадёт в модель аналитика. Ошибки к тому же кучкуются в именах, числах, аббревиатурах и жаргоне — как раз там, где суммаризатору или агенту нужна максимальная точность.

Пример из практики: нидерландская энергокомпания Eneco (больше 2 млн клиентов) протестировала Scribe v3 Live в своём голосовом агенте на реальных звонках. Нидерландские почтовые индексы с первого раза распознавались на 40% чаще, номера домов — на 15% чаще.

Оговорки и что делать

Все цифры — собственные замеры ElevenLabs. Многоязычная точность считалась на внутренней версии FLEURS, а это короткая чистая читаемая речь, далёкая от шумного колл-центра. Для диаризации компания собрала свой датасет из реальных встреч, звонков агентов и голосовых заметок на 16 языках и обещает «скоро» открыть его. Пока он закрыт, проверить результаты независимо нельзя. Кроме того, ошибки усреднялись по языкам поровну, а многие публикации сливают все клипы в одну метрику, поэтому прямое сравнение с чужими цифрами некорректно. Диаризацию в реальном времени нельзя сравнивать и с батчевой: там использовали другую методику подсчёта.

Практический вывод простой. Если вы сидите на Scribe v2, переход занимает одну строку: модель scribe_v3 или scribe_v3_live. Но не принимайте проценты на веру. Возьмите 50–100 своих реальных записей, особенно с числами, именами и переключением языков, и сравните на своей метрике. Командам с голосовыми агентами стоит заранее посчитать, как часто агент перебивает людей и путает цифры: именно здесь выигрыш самый заметный.

Для enterprise есть бонусы. По умолчанию данные обрабатываются в США, но доступны изолированные окружения в ЕС, Индии и Сингапуре, режим Zero Retention с удалением аудио и текста сразу после запроса, сертификаты SOC 2, ISO 27001 и PCI DSS Level 1, HIPAA с BAA и приватный деплой. Для здравоохранения компания также выпускает вариант Live, оптимизированный под медицинские разговоры.