ElevenLabs запустила Eleven Realtime: голосовой агент в одной модели, 98,8% на Big Bench Audio

ElevenLabs выпустила Eleven Realtime — новый класс speech-to-speech моделей, в которых целый голосовой агент упакован в одну модель. Раньше разработчику приходилось отдельно подбирать распознавание речи, детектор голосовой активности, логику смены реплик, LLM и синтез речи, а потом месяцами всё это настраивать. Теперь есть два варианта: Eleven Realtime v1 Mini и v1 Max. По независимым тестам Artificial Analysis, Max верно отвечает на 98,8% голосовых вопросов Big Bench Audio и начинает говорить в среднем через 0,57 секунды.

Один модуль вместо пяти

Главный аргумент ElevenLabs: естественный голосовой агент складывается из мелких решений. Сколько ждать после паузы, прежде чем отвечать. Как реагировать, когда пользователь перебивает. Как согласуются голос, промпт и модель. В классической архитектуре каждое из этих решений живёт в отдельном компоненте со своими настройками, и стыки между ними становятся главным источником неестественности. Realtime-модели забирают эту работу себе. В платформе ElevenAgents те же параметры по-прежнему можно настраивать вручную.

Обе модели поддерживают более 90 языков и работают с любым из 17 000+ голосов из библиотеки ElevenLabs.

• Eleven Realtime v1 Mini — естественные разговоры по низкой цене. Подходит для ИИ-ассистентов, преподавателей и интерактивных персонажей. Компания считает, что для большинства сценариев его хватит.
• Eleven Realtime v1 Max — сложные задачи: поддержка клиентов, квалификация лидов, многошаговые процессы, где агент должен следовать регламенту и рассуждать по шагам.

Что показали бенчмарки

Модели независимо прогнали через три публичных теста: Big Bench Audio (рассуждение в голосовом режиме), Full-Duplex-Bench (динамика диалога) и Speech Agent Arena (предпочтения людей и успешность задач).

• Big Bench Audio, 1000 вопросов голосом: v1 Max — 98,8% верных ответов, v1 Mini — 75,9%.
• Скорость до начала ответа: v1 Max — 0,57 с, v1 Mini — 0,62 с.
• Full-Duplex-Bench (паузы, смена реплик, перебивания, поддакивания): v1 Mini — 95,8%, v1 Max — 94,1%.
• Speech Agent Arena (слепое сравнение в живых разговорах): v1 Max — 998, v1 Mini — 988.
• Задачи с вызовом инструментов: v1 Max выполнил 87,1%, v1 Mini — 60,3%.

Отдельно ElevenLabs выделяет баланс точности и скорости. Обычно модели с лучшим результатом на Big Bench Audio отвечают дольше всех, а самые быстрые теряют в точности. Max, по данным теста, держится на границе Парето по обеим осям: он и среди самых точных, и среди самых быстрых. Разрыв по инструментам заметнее всего. Если агент должен ходить в CRM, бронировать слоты или проверять статус заказа, Mini с 60,3% будет слабым выбором, и именно поэтому компания рекомендует Max для сценариев с интенсивными вызовами функций.

Миграция с OpenAI Realtime API

Самый практичный ход ElevenLabs — совместимость с OpenAI Realtime API. Эндпоинт работает по WebSocket и следует спецификации OpenAI, поэтому официальный SDK OpenAI подходит как есть. В примере из документации указывается адрес wss://api.elevenlabs.io/v1/convai/realtime и модель eleven_realtime_v1_mini, а голос выбирается параметром вроде brian. Для тех, кто уже построил интеграцию, проверка новой модели сводится к смене адреса и названия модели.

Ограничения есть. Realtime API работает только через WebSocket, поэтому интеграции на WebRTC придётся сначала перевести на WebSocket. Кроме того, API работает отдельно от ElevenAgents: каналов, базы знаний и других функций платформы в нём нет.

С чего начать

Если нужен продакшен, компания рекомендует идти через ElevenAgents: создать агента или открыть существующего и выбрать Realtime-модель в выпадающем списке. Вместе с ней идёт всё необходимое для эксплуатации: телефония, веб, WhatsApp и CCaaS-каналы, воркфлоу, база знаний, ограничители (guardrails), тестирование и мониторинг.

Практически выбор выглядит так. Для голосового репетитора, игрового персонажа или простого ассистента стоит начать с Mini: он быстрее выигрывает по естественности диалога на Full-Duplex-Bench и дешевле. Для контакт-центра, квалификации лидов и сценариев с несколькими шагами и вызовом инструментов лучше брать Max. Тем, у кого уже есть код под OpenAI Realtime, имеет смысл прогнать A/B-тест на собственных диалогах: поменять эндпоинт и модель, сравнить задержку и долю выполненных задач. Если архитектура завязана на WebRTC, закладывайте время на переход на WebSocket заранее.