ElevenLabs dá memória e roteamento de modelos aos agentes de voz: balanço do Summit NYC

Um agente de voz que interrompe o cliente, o esquece um minuto depois da chamada e aciona um modelo caro para qualquer fala é uma dor conhecida de todos que já montaram suporte com LLMs. No Summit de Nova York, em 11 de novembro, a ElevenLabs mostrou um pacote de atualizações que mira exatamente esses pontos. Parte já está disponível; parte ainda está em preview.

Interaction Engine: quem fala e qual modelo pensa

O mais interessante para engenheiros é o Interaction Engine, mostrado por enquanto apenas em preview. Ele cuida do ritmo do diálogo: quando o agente deve entrar e quando deve se calar se a pessoa o interrompeu. A segunda função é escolher o LLM para cada trecho da conversa. Um modelo barato faz a triagem e mantém o consumo de tokens sob controle, enquanto um modelo de fronteira entra quando a tarefa se complica.

A ideia não é nova: muitas equipes montam à mão um roteador com vários modelos. Mas, se a ElevenLabs assumir tanto o timing das falas quanto o roteamento, a equipe se livra de toda uma camada de código próprio. A empresa não divulgou benchmarks, preços nem data de lançamento, então será preciso testar nas suas próprias chamadas.

Memória e Routines: o agente lembra e conclui o trabalho depois da chamada

O ElevenAgents ganhará o Memory. Após cada conversa, o agente a comprime em um registro estruturado e o complementa quando o cliente volta. O CRM continua sendo a principal fonte da verdade, e o Memory captura o que não tem campo no CRM: preferências, restrições, motivos. Exemplo da apresentação: o cliente fala espanhol e só pode conversar após as 17h — o agente vai lembrar e levar isso em conta. Um assinante que informou em março uma mudança de endereço não precisa repetir isso em abril: o agente mesmo propõe transferir o serviço para o novo endereço e encerrar o antigo.

Para o product manager, há duas perguntas: o que exatamente o agente tem permissão para memorizar e como o cliente fica sabendo disso. No anúncio, fala-se de um cliente autenticado que retorna, e essa é uma limitação razoável.

As Routines são uma camada de automação em torno da conversa: cenários de várias etapas antes, durante e depois da chamada. Exemplos: pré-qualificar um solicitante de financiamento imobiliário e ligar de volta em poucos minutos; lembrar pacientes de uma consulta e oferecer um horário liberado da lista de espera; enviar um relatório por e-mail, gravar dados no CRM, iniciar a chamada. Tudo isso dentro do ElevenAgents, sem um conjunto separado de serviços. Entre os clientes da plataforma foram citados Yahoo, Westgate e KPN.

Fine-tuning, ElevenAI e o ecossistema

A ElevenLabs já produz modelos setoriais de reconhecimento de fala. O Scribe v3 Medical diferencia nomes parecidos de medicamentos — cicloserina e ciclosporina, ou seja, um tratamento contra tuberculose e um imunossupressor. Em seguida foi prometido um modelo para finanças. A novidade: «nos próximos meses» a empresa ajudará a fazer fine-tuning de alguns modelos de linguagem abertos e dos próprios modelos de voz com dados de implantações reais. A métrica é escolhida pelo negócio — por exemplo, CSAT ou confiabilidade — e os pesquisadores da ElevenLabs ajudam no treinamento. O CEO Mati Staniszewski comparou isso a ter uma pilha própria de RL em cada empresa. Condições, preços e lista de modelos ainda não existem.

Separadamente, foi apresentado o ElevenAI, um aplicativo «colega» para funcionários: ditado e notas de reuniões baseados no Scribe v3, inclusive presenciais, com resumos e tarefas para cada participante. O consentimento dos participantes está embutido. O acesso antecipado gratuito está aberto desde 11 de novembro.

No lado da implantação: o Partner Program (mais de 550 parceiros em 44 países, entre eles Google Cloud, IBM, Deloitte e Genesys), uma aliança com a McKinsey e a QuantumBlack e o Marketplace com aplicativos setoriais. Comprar agentes por ele será possível a partir do próximo ano, com o contrato já existente com a ElevenLabs. A parceria com a NVIDIA foi ampliada: o Nemotron 3.5 Super VL está disponível no ElevenAgents, serão adicionados 15 MW de capacidade Vera Rubin, e para a plataforma nacional polonesa e-Health está sendo preparado um agente de voz local para agendar consultas médicas de pacientes que só têm telefone fixo.

O que fazer com isso

Se você constrói agentes de voz, reveja três pontos: onde vive a memória sobre o cliente além do CRM, se os modelos estão separados por complexidade da etapa e quem faz o pós-processamento da chamada. Quase tudo na lista é «em breve» ou preview, então vale avaliar pelas métricas das suas próprias chamadas (taxa de transferência para humanos, CSAT, custo da conversa), e não pelo palco.

Por fim, a dependência de fornecedor. O fine-tuning «junto com os pesquisadores da ElevenLabs» e as compras pelo marketplace prendem você mais a uma única plataforma. Para um início rápido isso é conveniente, mas é melhor planejar a saída com antecedência.