ElevenLabs Scribe v3: un 27 % menos de errores en la transcripción de voz y etiquetado de hablantes en directo

Todo producto de voz empieza con una transcripción. Si en ella «quince» se convierte en «cincuenta», el error llegará al resumen, al CRM y al modelo analítico, y corregirlo allí costará varias veces más. ElevenLabs ha lanzado Scribe v3 y Scribe v3 Live, dos modelos de reconocimiento de voz pensados para el caos real: los participantes de una llamada se interrumpen, el cliente se queda callado en mitad de un número de teléfono y ambos interlocutores hablan en una lengua que no es la materna.

Qué ha cambiado

Scribe v3 está pensado para audio grabado. Según la compañía, en 102 idiomas comete un 27 % menos de errores de palabras que Scribe v2 y ha mejorado en todos los idiomas probados. El alemán mejoró un 42 %, el español un 35 %, el inglés un 23 %, el suajili un 34 %, el tamil un 29 % y el tailandés un 28 %. La diarización (el etiquetado de «quién dijo qué») es un 12 % más precisa en general y un 17 % más en grabaciones con tres o más participantes. Precisamente en esas grabaciones es donde fallan la mayoría de los modelos.

Scribe v3 Live es la variante en streaming con baja latencia. Tiene un 43 % menos de errores según el WER semántico (que cuenta como error solo lo que cambia el sentido) que Scribe v2 Realtime. Hay dos novedades principales. La primera es la diarización en tiempo real: un 3,1 % de errores en la parte en inglés del conjunto de datos propio de la compañía, frente al 5,9–7,3 % de otros modelos de streaming. La segunda es una detección mejorada del final del turno.

Un agente de voz clásico espera una pausa de duración fija. Con un temporizador corto, interrumpe a quien se ha quedado pensando en mitad del número de una tarjeta. Con uno largo, el agente parece lento. Scribe v3 Live tiene en cuenta no solo el silencio, sino también el contexto de la conversación, así que una pausa dentro de un número no se considera el final de la frase. La misma lógica ya funcionaba en ElevenAgents, y ahora se puede conectar mediante la API (el parámetro commitStrategy con el valor turn_prediction).

También hay más control sobre el resultado. Keyterm prompting admite hasta 1000 términos que seguro aparecerán: nombres de marcas, siglas, jerga. Los números se pueden devolver en cifras o en palabras. Las reglas de formato se definen en lenguaje natural, por ejemplo: «escribe todas las fechas como YYYY-MM-DD». Live incorpora un modo multilingüe para conversaciones en las que el idioma cambia en plena frase, por ejemplo hindi con inglés. Además, cuenta con una keyterm library: contiene miles de términos que pueden aparecer, y el modelo la consulta solo si oye una coincidencia probable. Es útil para un catálogo de productos o una lista de medicamentos.

Cuánto valen unos pocos puntos porcentuales

Los porcentajes de las notas de lanzamiento cuesta sentirlos, por eso ElevenLabs los traduce a minutos. Una hora de reunión a 150 palabras por minuto son unas 9000 palabras. La diferencia entre un 4 % y un 2 % de WER son 180 palabras erróneas, es decir, tres por cada minuto de habla. La diarización se mide en tiempo: cada punto de error significa 36 segundos de habla atribuidos a otra persona.

El precio del error depende del lugar. En la transcripción de un pódcast, una palabra incorrecta es una errata. En un informe de beneficios, un «quince» entendido como «cincuenta» acaba en el modelo del analista. Además, los errores se concentran en nombres, números, siglas y jerga, justo donde un resumidor o un agente necesita la máxima precisión.

Un ejemplo práctico: la compañía energética neerlandesa Eneco (más de 2 millones de clientes) probó Scribe v3 Live en su agente de voz con llamadas reales. Los códigos postales neerlandeses se reconocieron correctamente a la primera un 40 % más a menudo, y los números de portal, un 15 % más.

Salvedades y qué hacer

Todas las cifras son mediciones propias de ElevenLabs. La precisión multilingüe se calculó con una versión interna de FLEURS, que es habla leída, corta y limpia, muy lejos de un centro de llamadas ruidoso. Para la diarización, la compañía reunió su propio conjunto de datos con reuniones reales, llamadas de agentes y notas de voz en 16 idiomas y promete abrirlo «pronto».

Mientras siga cerrado, no es posible verificar los resultados de forma independiente. Además, los errores se promediaron por igual entre idiomas, mientras que muchas publicaciones fusionan todos los clips en una sola métrica, por lo que la comparación directa con cifras ajenas no es correcta. Tampoco se puede comparar la diarización en tiempo real con la de procesamiento por lotes: allí se usó otra metodología de cálculo.

La conclusión práctica es sencilla. Si usa Scribe v2, el cambio lleva una línea: el modelo scribe_v3 o scribe_v3_live. Pero no dé los porcentajes por buenos sin más. Tome de 50 a 100 grabaciones reales suyas, sobre todo con números, nombres y cambios de idioma, y compárelas con su propia métrica. Los equipos con agentes de voz deberían calcular de antemano con qué frecuencia el agente interrumpe a las personas y confunde cifras: es ahí donde la ganancia se nota más.

Para empresas hay extras. Por defecto, los datos se procesan en EE. UU., pero hay entornos aislados disponibles en la UE, la India y Singapur, un modo Zero Retention que elimina el audio y el texto justo después de la solicitud, certificaciones SOC 2, ISO 27001 y PCI DSS Level 1, HIPAA con BAA y despliegue privado. Para el sector sanitario, la compañía también lanza una variante Live optimizada para conversaciones médicas.