Loka crea un agente de voz con Amazon Nova 2 Sonic que responde en menos de un segundo

Loka ha publicado un análisis detallado de la arquitectura con la que construyó un agente de voz basado en Amazon Nova 2 Sonic, el modelo de voz de nueva generación de AWS. El objetivo era concreto: crear un bot que no llevara al cliente a colgar tras unos segundos de espera.

El problema a resolver

La voz robótica de los bots telefónicos va más allá de una molestia estética. Para las empresas supone pérdidas directas: el cliente cuelga, vuelve a llamar para hablar con un operador humano o se marcha a la competencia. La reputación de la marca cae y los costes de soporte aumentan.

Los sistemas de voz clásicos funcionan con una cadena larga: reconocimiento de voz (ASR) → conversión a texto → modelo de lenguaje → generación de la respuesta → síntesis de voz (TTS). Cada etapa añade latencia. Como resultado, la pausa entre la pregunta del cliente y la respuesta del bot oscila entre 2 y 5 segundos. En ese tiempo, la persona concluye que el sistema no funciona y cuelga o exige un operador humano.

Loka se propuso romper esa cadena y crear un agente que reaccione dentro de la pausa natural de una conversación, como lo haría un interlocutor humano. La solución fue Amazon Nova 2 Sonic.

Qué hace diferente a Nova 2 Sonic

Nova 2 Sonic es un modelo multimodal speech-to-speech de AWS que trabaja directamente con audio y se salta los pasos separados de transcripción ASR y síntesis TTS. Recibe un flujo de audio como entrada y genera otro flujo de audio como salida, sin conversión intermedia a texto.

Esto cambia de raíz el perfil de latencia:

• La respuesta empieza entre 300 y 500 ms después de la pausa del usuario
• El modelo entiende las interrupciones naturales del habla y reacciona a ellas correctamente
• El sistema capta la entonación y el contexto emocional, y adapta el tono de la respuesta
• La sensación de «el sistema está procesando» desaparece por completo del diálogo
• La integración con la lógica de negocio mediante function calling no interrumpe el hilo de la conversación

Nova 2 Sonic está disponible a través de Amazon Bedrock, lo que permite a las empresas que ya usan AWS conectarlo sin cambiar de proveedor ni rehacer por completo su infraestructura.

La arquitectura en producción

Loka utilizó streaming de audio en tiempo real con un búfer mínimo. El sistema no espera a que el usuario termine de hablar: empieza a procesar de inmediato. Así, Nova 2 Sonic puede responder justo en el momento de la pausa natural, y no tras un silencio prolongado.

«La voz robótica es el principal motivo por el que los clientes cuelgan.

No es un problema tecnológico: es un problema de confianza», señala el equipo de Loka.

Para acceder a datos de negocio en tiempo real, como el estado de un pedido, el historial del cliente o el stock de productos, el agente recurre a real-time function calling. Para el cliente, el resultado es una respuesta instantánea, sin una pausa perceptible de «esperando resultados».

En producción, el sistema se muestra robusto ante interrupciones, cambios de tema y pausas atípicas, precisamente los escenarios en los que los sistemas ASR clásicos fallan con más frecuencia.

Qué significa esto

Los modelos speech-to-speech eliminan la principal barrera para la adopción masiva de bots de voz: una latencia perceptible que rompe la ilusión de una conversación real. Si la latencia no se nota y la voz suena natural, la frontera entre agente y operador se difumina. Para las empresas, es un camino directo para automatizar el call center sin dañar el NPS.

Tras Nova 2 Sonic llegarán al mercado modelos similares de otros proveedores: la competencia en el segmento de voice AI no ha hecho más que empezar.