Los bots de voz con LLM recurren al clasificador rápido Jev: decisiones en 200–500 ms

Un bot de voz basado en un modelo de lenguaje grande (LLM) habla con fluidez, pero en llamadas reales falla en los detalles. Encuentra un hueco libre y no agenda al cliente. Interrumpe a una persona que solo está buscando una palabra.

El equipo de Voximplant, plataforma rusa de automatización de voz y bots telefónicos, ha descrito una forma de corregirlo con ingeniería: quitarle al LLM las decisiones simples y dárselas a un modelo clasificador rápido, como Jev, de la compañía TypeSafe. Jev salió en acceso anticipado en septiembre de 2026. Recibe como entrada un fragmento de la transcripción, la última frase del bot y el paso del guion, además de varias preguntas.

No genera texto. Devuelve una estructura tipada: una opción entre varias, una puntuación en una escala corta o la probabilidad de «sí» ante una pregunta directa. Las mediciones de latencia no coinciden.

En una prueba, 35 preguntas tardaron unos 170 ms con la conexión ya caliente; en otra, el resultado fue de 332–892 ms. TypeSafe declara 70–500 ms.

Por qué un solo modelo no basta para toda la conversación

Entre 2022 y 2024, Voximplant desarrolló su propio clasificador, Avatar. Extraía de la frase la intención (intent) a partir de un catálogo configurable y marcaba si contenía datos estructurados: fechas, nombres, números. Después llegaron los LLM y pareció que el clasificador ya no hacía falta.

La práctica lo desmintió enseguida. Los modelos medianos no soportaban un prompt inicial largo y, tras varios cambios de tema, empezaban a alucinar. Los modelos caros arruinaban la economía del proyecto o respondían demasiado despacio para el teléfono.

Algunos modelos no estaban disponibles en ciertas regiones. Según la experiencia de Voximplant, que hace varios cientos de proyectos comerciales al año, un único modelo se salta el momento de llamar a una herramienta, se sale de la ventana de contexto y quema tokens de más. Por eso el bot se construye con varias piezas.

Cuando salió Jev, Voximplant estaba justo sustituyendo Avatar por un esquema con un modelo pequeño y rápido.

Jev no es el único de su clase. Han aparecido otros modelos:

• Laya: alternativa gratuita de código abierto con licencia Apache 2.0.
• Clef, de Cloudflare: modelo abierto para decisiones muy rápidas dentro de sistemas de software.
• CMF, de Cortiq: modelo abierto de 304,5 MB que funciona en milisegundos sin generar tokens.
• Bespoke Nimble, de Bespoke Labs: receta abierta basada en Qwen3.5-9B con ajuste fino LoRA y decodificación restringida.
• Kev, de @jaredpalmer: empezó como Kev-0.5B, basado en Qwen2.5-0.5B, para ejecutarse en local en portátiles; ahora es una familia de modelos.
• CLM-8B, de Stanford y Nvidia: almacena en caché las acciones repetitivas de los agentes y, según las mediciones de sus autores, es más rápido que Jev.

Cinco tareas que se delegan en el clasificador

Enrutamiento por temas. Piotr Zaczek puso el clasificador a la entrada del menú de voz. Este elige un agente pequeño, con un prompt corto y un único conjunto de herramientas para un solo tema. La decisión de cambiar de tema tardó 0,5 s en lugar de casi 5 s, que era lo que tardaba cuando la tomaba un modelo grande, y se gastaron menos tokens del modelo caro.

Verificación de acciones. Giorgi Lomidze mantuvo Gemini Live como modelo conversacional en Pocos, su asistente telefónico para salones y estudios. Cada llamada de Gemini a una herramienta la comprueba primero Jev con preguntas como «¿el abonado ha confirmado la acción?» y «¿el abonado se ha despedido?». Los umbrales son estos: el consentimiento se considera fuerte a partir de 0,9 y débil por debajo de 0,1; la despedida se considera fuerte a partir de 0,75 (y solo si la persona no ha empezado un tema nuevo). El principio: el LLM propone, Jev evalúa y decide la lógica de negocio.

Fin del turno por su significado. Las pausas las detectan detectores acústicos: en Voximplant son Silero VAD, Pipecat Smart Turn y el supresor de ruido Hush. Jev añade una comprobación sobre el texto. Si el detector dice «fin» pero Jev ve un pensamiento cortado, el bot guarda silencio. La latencia es de unos 250 ms: aproximadamente 50 ms de reconocimiento de voz y 200 ms de clasificación. Supreet Tare, de Taritas, hace una pregunta tras 350 ms de silencio y obtiene la respuesta en 0,4 s. Después, el código espera 1,7 s si hay un «terminó» seguro (desde 0,75), 2,8 s si hay dudas y 4,5 s si la frase se interrumpió en «and», «but» o una coma.

Interrupciones. Jay Albo, en la plataforma Agora, obtiene con una sola llamada (unos 300 ms) cuatro probabilidades: si la persona ha terminado su idea, si pide que se espere, si la frase va dirigida al bot y si interrumpe al bot o solo dice «aja».

Rellenar formularios. Jason Stiles montó la línea de una clínica ficticia sobre Twilio ConversationRelay con Deepgram y ElevenLabs. En cada turno se envía una consulta con 30–35 preguntas. El propio código extrae de la transcripción los candidatos (números para el año de nacimiento, frases cortas para el nombre) y Jev elige el adecuado. No puede inventarse una fecha: el error siempre viene de lo que dijo el abonado. El autor de la reseña discrepa de este enfoque: hay formas más eficientes de extraer datos.

Respuesta cara o barata

Deepesh Jayal, de Evalgent, divide las respuestas en tres clases: una plantilla lista sin modelo, un modelo rápido para un dato corto y un modelo pesado para los casos ambiguos o en los que equivocarse sale caro. En cada turno, Jev decide si hace falta una respuesta cara. Las reglas son estas:

• Una confianza baja sube el turno a la clase superior.
• Las preguntas con un coste alto de error no pasan a la clase barata, aunque el clasificador esté seguro.
• A mitad de llamada no se baja de clase: el ahorro es pequeño y se puede estropear el contexto del modelo caro.

Orden de montaje de la cascada

Voximplant propone esta secuencia: primero el fin del turno y las interrupciones, después el enrutamiento por temas, luego el rellenado de formularios, la verificación de acciones que modifican datos y la elección de la clase de modelo. Los umbrales de confianza habrá que ajustarlos en cada proyecto. Para los ingenieros, la conclusión es práctica: todo lo que se pueda reducir a una pregunta de «sí/no» o a una elección de una lista es más barato y fiable dejárselo a un modelo rápido. El LLM grande se queda donde hace falta una respuesta viva.