ElevenLabs lança Eleven Realtime: agente de voz em um único modelo, 98,8% no Big Bench Audio

A ElevenLabs lançou o Eleven Realtime, uma nova classe de modelos speech-to-speech em que um agente de voz completo vem embutido em um único modelo. Até então, o desenvolvedor precisava escolher separadamente o reconhecimento de fala, o detector de atividade de voz, a lógica de troca de turnos, o LLM e a síntese de fala, e depois passar meses ajustando tudo isso. Agora há duas opções: Eleven Realtime v1 Mini e v1 Max. Nos testes independentes da Artificial Analysis, o Max responde corretamente a 98,8% das perguntas em voz do Big Bench Audio e começa a falar, em média, após 0,57 segundo.

Um módulo no lugar de cinco

O principal argumento da ElevenLabs é que um agente de voz natural resulta de várias pequenas decisões. Quanto esperar depois de uma pausa antes de responder. Como reagir quando o usuário interrompe. Como voz, prompt e modelo se combinam. Na arquitetura clássica, cada uma dessas decisões fica em um componente separado, com configurações próprias, e as junções entre eles se tornam a principal fonte de artificialidade. Os modelos Realtime assumem esse trabalho. Na plataforma ElevenAgents, esses mesmos parâmetros ainda podem ser ajustados manualmente.

Ambos os modelos oferecem suporte a mais de 90 idiomas e funcionam com qualquer uma das 17 000+ vozes da biblioteca da ElevenLabs.

• Eleven Realtime v1 Mini — conversas naturais a um preço baixo. Serve para assistentes de IA, tutores e personagens interativos. A empresa considera que ele basta para a maioria dos cenários.
• Eleven Realtime v1 Max — tarefas complexas: atendimento ao cliente, qualificação de leads e fluxos de várias etapas, em que o agente precisa seguir um regulamento e raciocinar passo a passo.

O que mostraram os benchmarks

Os modelos passaram, de forma independente, por três testes públicos: Big Bench Audio (raciocínio em modo de voz), Full-Duplex-Bench (dinâmica da conversa) e Speech Agent Arena (preferência das pessoas e taxa de sucesso nas tarefas).

• Big Bench Audio, 1000 perguntas em voz: v1 Max — 98,8% de respostas corretas, v1 Mini — 75,9%.
• Tempo até o início da resposta: v1 Max — 0,57 s, v1 Mini — 0,62 s.
• Full-Duplex-Bench (pausas, troca de turnos, interrupções, interjeições de apoio): v1 Mini — 95,8%, v1 Max — 94,1%.
• Speech Agent Arena (comparação às cegas em conversas reais): v1 Max — 998, v1 Mini — 988.
• Tarefas com chamada de ferramentas: v1 Max cumpriu 87,1%, v1 Mini — 60,3%.

A ElevenLabs destaca à parte o equilíbrio entre precisão e velocidade. Em geral, os modelos com melhor resultado no Big Bench Audio são os que demoram mais para responder, e os mais rápidos perdem em precisão. O Max, segundo os dados do teste, fica na fronteira de Pareto nos dois eixos: está entre os mais precisos e entre os mais rápidos. A diferença é maior nas ferramentas. Se o agente precisa acessar o CRM, reservar horários ou consultar o status de um pedido, o Mini, com 60,3%, será uma escolha fraca, e é por isso que a empresa recomenda o Max para cenários com uso intenso de chamadas de função.

Migração da OpenAI Realtime API

O movimento mais prático da ElevenLabs é a compatibilidade com a OpenAI Realtime API. O endpoint funciona por WebSocket e segue a especificação da OpenAI, então o SDK oficial da OpenAI serve sem alterações. O exemplo da documentação usa o endereço wss://api.elevenlabs.io/v1/convai/realtime e o modelo eleven_realtime_v1_mini, e a voz é escolhida por um parâmetro como brian. Para quem já construiu uma integração, testar o novo modelo se resume a trocar o endereço e o nome do modelo.

Há limitações. A Realtime API funciona apenas por WebSocket, então integrações baseadas em WebRTC terão de ser migradas antes para WebSocket. Além disso, a API opera separadamente do ElevenAgents: canais, base de conhecimento e outros recursos da plataforma não estão disponíveis nela.

Por onde começar

Para produção, a empresa recomenda passar pelo ElevenAgents: criar um agente ou abrir um existente e selecionar o modelo Realtime na lista suspensa. Junto com ele vem tudo o que é necessário para a operação: telefonia, web, WhatsApp e canais de CCaaS, workflows, base de conhecimento, limitadores (guardrails), testes e monitoramento.

Na prática, a escolha fica assim. Para um tutor de voz, um personagem de jogo ou um assistente simples, vale começar pelo Mini: ele leva vantagem em naturalidade de conversa no Full-Duplex-Bench e custa menos. Para call center, qualificação de leads e cenários com várias etapas e chamada de ferramentas, é melhor usar o Max. Quem já tem código para a OpenAI Realtime deve rodar um teste A/B com seus próprios diálogos: trocar o endpoint e o modelo e comparar a latência e a taxa de tarefas concluídas. Se a arquitetura depende de WebRTC, reserve com antecedência um tempo para migrar para WebSocket.