ElevenLabs Scribe v3: 27% menos erros na transcrição de fala e identificação de falantes em tempo real

Todo produto de voz começa com uma transcrição. Se nela "quinze" virou "cinquenta", o erro chega ao resumo, ao CRM e ao modelo analítico, e corrigi-lo ali custará várias vezes mais. A ElevenLabs lançou o Scribe v3 e o Scribe v3 Live — dois modelos de reconhecimento de fala feitos para a bagunça da vida real: os participantes de uma chamada se interrompem, o cliente se cala no meio de um número de telefone, os dois interlocutores falam em um idioma que não é o nativo.

O que mudou

O Scribe v3 foi projetado para áudio gravado. Segundo a empresa, em 102 idiomas ele comete 27% menos erros de palavras que o Scribe v2 e melhorou em todos os idiomas testados. O alemão melhorou 42%, o espanhol 35%, o inglês 23%, o suaíli 34%, o tâmil 29% e o tailandês 28%. A diarização (a marcação de "quem disse o quê") ficou 12% mais precisa no geral e 17% em gravações com três ou mais participantes. É justamente nesse tipo de gravação que a maioria dos modelos falha.

O Scribe v3 Live é a variante em streaming, de baixa latência. Ele tem 43% menos erros em WER semântico (que conta como erro apenas o que altera o sentido) que o Scribe v2 Realtime. Há duas grandes novidades. A primeira é a diarização em tempo real: 3,1% de erros na parte em inglês do conjunto de dados da própria empresa, contra 5,9–7,3% de outros modelos de streaming. A segunda é a detecção aprimorada do fim da fala.

O agente de voz clássico espera uma pausa de duração predefinida. Com um temporizador curto, ele interrompe a pessoa que parou para pensar no meio do número do cartão. Com um longo, o agente parece lento. O Scribe v3 Live considera não apenas o silêncio, mas também o contexto da conversa, por isso uma pausa dentro de um número não é tratada como fim de frase. A mesma lógica já funcionava no ElevenAgents e agora pode ser ativada pela API (parâmetro commitStrategy com o valor turn_prediction).

Também há mais controle sobre o resultado. O Keyterm prompting aceita até 1000 termos que certamente serão ditos: nomes de marcas, siglas, jargão. Os números podem ser devolvidos em algarismos ou por extenso. As regras de formatação são definidas em linguagem comum, por exemplo "escreva todas as datas como YYYY-MM-DD". O Live ganhou um modo multilíngue para conversas em que o idioma muda no meio da frase, por exemplo hindi com inglês. Há ainda a keyterm library: nela ficam milhares de termos que podem aparecer, e o modelo só consulta a biblioteca quando ouve uma provável correspondência. Isso é útil para um catálogo de produtos ou uma lista de medicamentos.

Quanto valem alguns pontos percentuais

Percentuais em releases são difíceis de dimensionar, por isso a ElevenLabs os converte em minutos. Uma hora de reunião a 150 palavras por minuto dá cerca de 9000 palavras. A diferença entre 4% e 2% de WER representa 180 palavras erradas, ou seja, três a cada minuto de fala. A diarização é medida em tempo: cada ponto de erro significa 36 segundos de fala atribuídos ao nome errado.

O preço do erro depende do contexto. Na transcrição de um podcast, uma palavra errada é um erro de digitação. Em um relatório de lucros, "quinze" ouvido como "cinquenta" vai parar no modelo do analista. Além disso, os erros se concentram em nomes, números, siglas e jargão — justamente onde o sumarizador ou o agente precisa da máxima precisão.

Um exemplo prático: a companhia de energia holandesa Eneco (mais de 2 milhões de clientes) testou o Scribe v3 Live em seu agente de voz em chamadas reais. Os códigos postais holandeses foram reconhecidos corretamente de primeira 40% mais vezes, e os números de casas, 15% mais vezes.

Ressalvas e o que fazer

Todos os números são medições da própria ElevenLabs. A precisão multilíngue foi calculada em uma versão interna do FLEURS, que consiste em fala curta, limpa e lida, bem distante de um call center barulhento. Para a diarização, a empresa montou seu próprio conjunto de dados com reuniões reais, chamadas de agentes e notas de voz em 16 idiomas e promete abri-lo "em breve".

Enquanto ele estiver fechado, não é possível verificar os resultados de forma independente. Além disso, os erros foram calculados como média simples entre os idiomas, enquanto muitas publicações reúnem todos os clipes em uma única métrica, de modo que a comparação direta com números de terceiros não é adequada. A diarização em tempo real também não pode ser comparada à em lote: foi usada outra metodologia de cálculo.

A conclusão prática é simples. Se você usa o Scribe v2, a migração exige uma linha: o modelo scribe_v3 ou scribe_v3_live. Mas não aceite os percentuais na fé. Pegue de 50 a 100 das suas gravações reais, especialmente com números, nomes e troca de idioma, e compare com a sua própria métrica. Equipes com agentes de voz devem calcular de antemão com que frequência o agente interrompe as pessoas e confunde números: é aí que o ganho é mais visível.

Há bônus para empresas. Por padrão, os dados são processados nos EUA, mas há ambientes isolados na UE, na Índia e em Singapura, o modo Zero Retention, com exclusão do áudio e do texto logo após a requisição, certificações SOC 2, ISO 27001 e PCI DSS Level 1, HIPAA com BAA e implantação privada. Para a área da saúde, a empresa também lança uma variante do Live otimizada para conversas médicas.