Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарElevenLabs Blog→ оригинал

ElevenLabs запустила живой голосовой перевод звонков на 90+ языков для бизнеса

ElevenLabs открыла альфу Eleven Realtime Translation — голосового переводчика для живых звонков: клиент говорит по-испански, оператор по-немецки, и каждый слышит другого на своём языке. Работает он на модели Eleven v4 Turbo: она знает более 90 языков и сама определяет, на каком говорит человек. Один оператор сможет вести клиентов на многих языках без переводчика на линии. Пока доступ только у корпоративных клиентов ElevenAPI.

AI-обработка оригинала ElevenLabs Blog; редакция Hamidun News
ElevenLabs запустила живой голосовой перевод звонков на 90+ языков для бизнеса
Источник: ElevenLabs Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникElevenLabs Blog ↗
Главный редактор
Ключевой факт #1Deutsche Telekom строит на нём функции для Magenta AI Call Assistant
Ключевой факт #2Голос выбирают из 17 500 вариантов или клонируют свой; он не меняется
Старт перевода настраиваютточнее для споров по счетам, быстрее для диалога

Представьте звонок в поддержку: клиент из Мадрида говорит по-испански, а свободный оператор знает только немецкий. Обычно человек ждёт на линии, пока найдётся сотрудник с нужным языком, или мучается, объясняя проблему на чужом. ElevenLabs предлагает убрать это ограничение. Компания открыла альфу Eleven Realtime Translation: модель живого голосового перевода, где каждый собеседник говорит на своём языке и слышит другого тоже на своём. Речь идёт о более чем 90 языках, а доступ пока получили только корпоративные клиенты ElevenAPI, платформы разработчиков ElevenLabs.

Как это работает на практике

Схема простая. Перевод идёт, пока разговор продолжается, и звучит естественным выразительным голосом. Не нужно записывать фразу, ждать обработки и отдельно проигрывать результат.

ElevenLabs называет три сценария:

  • Операторы связи встраивают перевод в сам слой звонков. Тогда любой вызов в их сети может идти между людьми, говорящими на разных языках.
  • Контакт-центры ставят перевод между оператором и звонящим. Один сотрудник обслуживает клиентов на гораздо большем числе языков, а переводчика на линии держать не нужно.
  • Живые мероприятия: каждый слушатель слышит докладчика на своём языке.

Первым публичным партнёром назван Deutsche Telekom. Он использует Realtime Translation, чтобы вместе с ElevenLabs добавить новые функции в свой Magenta AI Call Assistant. Вице-президент по потребительскому ИИ Лена Друбель назвала это «совершенно новой эпохой» для голоса и способом убрать барьеры между людьми. Это слова партнёра, а не независимая оценка. Данных о работе сервиса под реальной нагрузкой в анонсе нет.

Голос, языки и настройки

Под капотом работает Eleven v4 Turbo — модель синтеза речи с малой задержкой, которую ElevenLabs оптимизировала для задач реального времени. Она поддерживает более 90 языков и сама определяет, на каком языке говорит человек. Заранее выбирать язык не требуется.

Заявлено, что один и тот же голос звучит стабильно на разных языках. Для бренда это важно: агент поддержки в Германии, Бразилии и Индии будет звучать как один и тот же «человек». Голос выбирают из библиотеки на более чем 17 500 вариантов или создают собственный клон, быстрый (Instant) либо профессиональный (Professional). В течение сессии голос не меняется.

Ещё одна настройка касается скорости. Команда сама решает, как скоро после начала фразы стартует перевод. Для сложных разговоров вроде споров по счетам или страховых случаев лучше подождать и получить более точный перевод. Для быстрого диалога, где важен темп реплик, выбирают минимальную задержку. Это честный компромисс: чем раньше система начинает говорить, тем больше у неё шансов ошибиться в смысле фразы.

Что стоит учесть

Анонс написан маркетинговой командой. В нём нет ни цифр задержки, ни метрик качества перевода, ни цен, ни сравнения с другими решениями. Статус «альфа» означает, что продукт могут заметно менять, а доступ ограничен. Авторы не описывают, как модель справляется с акцентами, перебиванием, шумом в линии и узкой терминологией. В колл-центре всё это встречается постоянно.

Есть и вопросы, которые бизнесу придётся решать самому. Нужно ли предупреждать клиента, что собеседник говорит синтезированным голосом? Как хранить записи переведённых разговоров? Кто отвечает за ошибку перевода, если из-за неё клиент неверно понял условия договора? Для банков, страховщиков и медицинских сервисов эти вопросы упираются в юридические риски, а не только в технику.

Для разработчиков и продактов вывод такой. Если ваш продукт завязан на голосовую поддержку или международные звонки, стоит запросить доступ к альфе и проверить сервис на собственных записях разговоров. Особенно нужно смотреть на сложные сценарии: числа, имена, названия тарифов. Выбор между скоростью и качеством перевода лучше делать отдельно для каждого типа звонка, а не один раз для всей системы.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это работает на практике?

Схема простая. Перевод идёт, пока разговор продолжается, и звучит естественным выразительным голосом. Не нужно записывать фразу, ждать обработки и отдельно проигрывать результат. ElevenLabs называет три сценария: Операторы связи встраивают перевод в сам слой звонков. Тогда любой вызов в их сети может идти между людьми, говорящими на разных языках. Контакт-центры ставят перевод между оператором и звонящим. Один сотрудник обслуживает клиентов на гораздо большем числе языков, а переводчика на линии держать не нужно.

Что известно по теме: голос, языки и настройки?

Под капотом работает Eleven v4 Turbo — модель синтеза речи с малой задержкой, которую ElevenLabs оптимизировала для задач реального времени. Она поддерживает более 90 языков и сама определяет, на каком языке говорит человек. Заранее выбирать язык не требуется. Заявлено, что один и тот же голос звучит стабильно на разных языках. Для бренда это важно: агент поддержки в Германии, Бразилии и Индии будет звучать как один и тот же «человек».

Что известно по теме: что стоит учесть?

Анонс написан маркетинговой командой. В нём нет ни цифр задержки, ни метрик качества перевода, ни цен, ни сравнения с другими решениями. Статус «альфа» означает, что продукт могут заметно менять, а доступ ограничен. Авторы не описывают, как модель справляется с акцентами, перебиванием, шумом в линии и узкой терминологией. В колл-центре всё это встречается постоянно. Есть и вопросы, которые бизнесу придётся решать самому. Нужно ли предупреждать клиента, что собеседник говорит синтезированным голосом?

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…