ElevenLabs lanza Eleven Realtime: un agente de voz en un solo modelo, 98,8% en Big Bench Audio

ElevenLabs ha presentado Eleven Realtime, una nueva clase de modelos speech-to-speech que empaquetan un agente de voz completo en un solo modelo. Hasta ahora, el desarrollador tenía que elegir por separado el reconocimiento de voz, el detector de actividad vocal, la lógica de turnos de palabra, el LLM y la síntesis de voz, y después pasar meses ajustándolo todo. Ahora hay dos variantes: Eleven Realtime v1 Mini y v1 Max. Según las pruebas independientes de Artificial Analysis, Max responde correctamente al 98,8% de las preguntas de voz de Big Bench Audio y empieza a hablar, de media, a los 0,57 segundos.

Un módulo en lugar de cinco

El argumento central de ElevenLabs es que un agente de voz natural se construye a partir de pequeñas decisiones: cuánto esperar tras una pausa antes de responder, cómo reaccionar cuando el usuario interrumpe, cómo encajan la voz, el prompt y el modelo. En la arquitectura clásica, cada una de estas decisiones vive en un componente distinto con sus propios ajustes, y las uniones entre ellos se convierten en la principal fuente de falta de naturalidad. Los modelos Realtime asumen ese trabajo. En la plataforma ElevenAgents, esos mismos parámetros se pueden seguir configurando a mano.

Ambos modelos admiten más de 90 idiomas y funcionan con cualquiera de las 17 000+ voces de la biblioteca de ElevenLabs.

• Eleven Realtime v1 Mini: conversaciones naturales a bajo precio. Es adecuado para asistentes de IA, tutores y personajes interactivos. La compañía considera que será suficiente para la mayoría de los escenarios.
• Eleven Realtime v1 Max: tareas complejas como atención al cliente, cualificación de leads y procesos de varios pasos en los que el agente debe seguir un protocolo y razonar paso a paso.

Qué muestran los benchmarks

Los modelos se evaluaron de forma independiente en tres pruebas públicas: Big Bench Audio (razonamiento en modo de voz), Full-Duplex-Bench (dinámica de la conversación) y Speech Agent Arena (preferencias de las personas y éxito en las tareas).

• Big Bench Audio, 1000 preguntas por voz: v1 Max, 98,8% de respuestas correctas; v1 Mini, 75,9%.
• Tiempo hasta el inicio de la respuesta: v1 Max, 0,57 s; v1 Mini, 0,62 s.
• Full-Duplex-Bench (pausas, cambios de turno, interrupciones, asentimientos): v1 Mini, 95,8%; v1 Max, 94,1%.
• Speech Agent Arena (comparación a ciegas en conversaciones reales): v1 Max, 998; v1 Mini, 988.
• Tareas con llamadas a herramientas: v1 Max completó el 87,1%; v1 Mini, el 60,3%.

ElevenLabs destaca por separado el equilibrio entre precisión y velocidad. Normalmente, los modelos con mejor resultado en Big Bench Audio son los que más tardan en responder, mientras que los más rápidos pierden precisión. Según los datos de la prueba, Max se sitúa en la frontera de Pareto en ambos ejes: está entre los más precisos y entre los más rápidos. La diferencia más notable aparece en las herramientas. Si el agente tiene que consultar un CRM, reservar franjas horarias o comprobar el estado de un pedido, Mini, con su 60,3%, será una opción débil, y por eso la compañía recomienda Max para escenarios con un uso intensivo de llamadas a funciones.

Migración desde la API de OpenAI Realtime

La jugada más práctica de ElevenLabs es la compatibilidad con la API de OpenAI Realtime. El endpoint funciona por WebSocket y sigue la especificación de OpenAI, de modo que el SDK oficial de OpenAI sirve tal cual. El ejemplo de la documentación usa la dirección wss://api.elevenlabs.io/v1/convai/realtime y el modelo eleven_realtime_v1_mini, y la voz se elige con un parámetro como brian. Para quien ya tiene una integración construida, probar el nuevo modelo se reduce a cambiar la dirección y el nombre del modelo.

Hay limitaciones. La API Realtime solo funciona a través de WebSocket, así que las integraciones basadas en WebRTC tendrán que migrarse primero a WebSocket. Además, la API opera por separado de ElevenAgents: no incluye los canales, la base de conocimiento ni otras funciones de la plataforma.

Por dónde empezar

Si se busca un despliegue en producción, la compañía recomienda hacerlo a través de ElevenAgents: crear un agente o abrir uno existente y elegir el modelo Realtime en el desplegable. Con él viene todo lo necesario para la explotación: telefonía, web, WhatsApp y canales CCaaS, workflows, base de conocimiento, guardarraíles (guardrails), pruebas y monitorización.

En la práctica, la elección es esta. Para un tutor de voz, un personaje de videojuego o un asistente sencillo, conviene empezar con Mini: gana en naturalidad de diálogo en Full-Duplex-Bench y es más barato. Para un contact center, la cualificación de leads y los escenarios con varios pasos y llamadas a herramientas, es mejor elegir Max. Quienes ya tengan código para OpenAI Realtime deberían ejecutar una prueba A/B con sus propios diálogos: cambiar el endpoint y el modelo, y comparar la latencia y la proporción de tareas completadas. Si la arquitectura depende de WebRTC, conviene reservar con antelación tiempo para pasar a WebSocket.