ElevenLabs incorpora memoria y enrutamiento de modelos a sus agentes de voz: las novedades del Summit NYC

Un agente de voz que interrumpe al cliente, lo olvida un minuto después de terminar la llamada y recurre a un modelo caro para cada intervención: un problema conocido para cualquiera que haya desarrollado atención al cliente con LLM. En su Summit de Nueva York del 11 de noviembre, ElevenLabs presentó una serie de novedades dirigidas precisamente a esos problemas. Algunas ya están disponibles; otras siguen en fase preliminar.

Interaction Engine: quién habla y qué modelo piensa

La novedad más interesante para los ingenieros es Interaction Engine, que por ahora se ha mostrado en versión preliminar. Se encarga del ritmo del diálogo: cuándo debe intervenir el agente y cuándo debe callarse si una persona lo interrumpe. Su segunda función es elegir el LLM para cada parte de la conversación. Un modelo económico realiza la clasificación inicial y mantiene a raya el gasto en tokens, mientras que un modelo de frontera entra en juego cuando la tarea se complica.

La idea no es nueva: muchos equipos montan manualmente un enrutador con varios modelos. Pero si ElevenLabs se ocupa tanto de los tiempos de intervención como del enrutamiento, los equipos podrán ahorrarse toda una capa de infraestructura propia. La empresa no facilitó resultados de pruebas comparativas, precios ni fechas de lanzamiento, así que habrá que evaluarlo con llamadas propias.

Memory y Routines: el agente recuerda y termina el trabajo después de la llamada

ElevenAgents incorporará Memory. Después de cada conversación, el agente la condensa en un registro estructurado y lo amplía cuando el cliente vuelve a contactar. El CRM sigue siendo la principal fuente de referencia, mientras que Memory recoge lo que no tiene un campo específico en el CRM: preferencias, limitaciones y circunstancias. Un ejemplo de la presentación: el cliente habla español y solo puede atender después de las 17:00; el agente lo recordará y lo tendrá en cuenta. Un abonado que comunicó una mudanza en marzo no tendrá que repetirlo en abril: el agente le propondrá por iniciativa propia trasladar el servicio a la nueva dirección y darlo de baja en la anterior.

Para los equipos de producto, esto plantea dos preguntas: qué tiene permitido recordar el agente y cómo se informa al cliente. El anuncio se refiere a clientes autenticados que vuelven a contactar, una restricción razonable.

Routines es una capa de automatización en torno a la conversación: flujos de varios pasos antes, durante y después de la llamada. Algunos ejemplos: realizar una evaluación preliminar de un solicitante de hipoteca y devolverle la llamada en cuestión de minutos; recordar a los pacientes sus citas y ofrecer un hueco disponible a alguien de la lista de espera; enviar un informe por correo electrónico, registrar datos en el CRM o iniciar una llamada. Todo dentro de ElevenAgents, sin un conjunto de servicios aparte. Entre los clientes de la plataforma se mencionaron Yahoo, Westgate y KPN.

Ajuste fino, ElevenAI y el ecosistema

ElevenLabs ya desarrolla modelos de reconocimiento de voz específicos para distintos sectores. Scribe v3 Medical distingue nombres de medicamentos similares, como cicloserina y ciclosporina: un tratamiento para la tuberculosis y un inmunosupresor, respectivamente. El siguiente modelo anunciado estará orientado a las finanzas. La novedad: «en los próximos meses», la empresa ayudará a ajustar algunos modelos de lenguaje abiertos y sus propios modelos de voz con datos de despliegues reales. Cada empresa elige la métrica, por ejemplo, CSAT o fiabilidad, y los investigadores de ElevenLabs ayudan con el entrenamiento. El CEO, Mati Staniszewski, lo comparó con que cada empresa tuviera su propia infraestructura de aprendizaje por refuerzo (RL). Todavía no hay condiciones, precios ni una lista de modelos.

También se presentó ElevenAI, una aplicación que actúa como «colega» para los empleados: dictado y notas de reuniones basados en Scribe v3, incluidas las reuniones presenciales, con resúmenes y tareas para cada participante. Incorpora el consentimiento de los participantes. El acceso anticipado gratuito se abrió el 11 de noviembre.

En cuanto a la implantación: un Partner Program con más de 550 socios en 44 países, entre ellos Google Cloud, IBM, Deloitte y Genesys; una alianza con McKinsey y QuantumBlack; y un Marketplace con aplicaciones sectoriales. A partir del próximo año se podrán comprar agentes a través de él con cargo al contrato existente con ElevenLabs. También se ha ampliado la colaboración con NVIDIA: Nemotron 3.5 Super VL está disponible en ElevenAgents, se añaden 15 MW de capacidad de Vera Rubin y se está preparando un agente de voz de despliegue local para la plataforma nacional polaca e-Health, destinado a concertar citas médicas para pacientes que solo disponen de teléfono fijo.

Qué hacer con estas novedades

Si desarrollas agentes de voz, revisa tres aspectos: dónde se guarda la memoria del cliente además del CRM, si los modelos se asignan según la complejidad de cada paso y quién se encarga del procesamiento posterior a la llamada. Casi todo lo anunciado llegará «próximamente» o está en fase preliminar, así que conviene evaluarlo con las métricas de tus propias llamadas —tasa de transferencias a agentes humanos, CSAT y coste por conversación— en lugar de guiarse por la presentación.

Una última cuestión es la dependencia del proveedor. El ajuste fino «junto con investigadores de ElevenLabs» y las compras a través del marketplace estrechan la vinculación con una única plataforma. Resulta cómodo para empezar rápido, pero conviene planificar de antemano cómo salir de ella.