Cómo Just AI ayudó a un banco a romper el techo de automatización con agentes LLM

El equipo de Just AI ha publicado el análisis de un caso real: cómo trasladar la atención al cliente de un banco de bots NLU a agentes LLM sin acabar con una oleada de alucinaciones en lugar de más automatización.

Un techo que no se puede esquivar

Cuando un escenario NLU crece hasta varios cientos de ramas, añadir nuevos diálogos deja de ayudar. El bot empieza a fallar en casos límite, exige un mantenimiento constante del etiquetado y no sabe manejar formulaciones poco habituales. El porcentaje de automatización se estanca. Eso fue justo lo que le ocurrió al banco: su sistema NLU maduro para cashback tocó techo. El problema no estaba en la calidad de la configuración, sino en la arquitectura. Los bots NLU clásicos funcionan con reglas rígidas: reconocen las intenciones para las que fueron entrenados, pero manejan mal las variaciones semánticas y el contexto dentro de un diálogo largo.

Qué cambió con los agentes LLM

Just AI propuso migrar a una arquitectura con agentes LLM. En lugar de un árbol rígido de escenarios, un modelo de lenguaje entiende el sentido de la consulta, mantiene el contexto y genera la respuesta a partir de la base de conocimiento actualizada. Cambios clave en el sistema:

• El clasificador NLU se sustituyó por comprensión basada en LLM, incluidas paráfrasis y formulaciones poco habituales
• Soporte para diálogos de varios turnos con conservación del contexto
• Las respuestas se construyen a partir de la base de conocimiento del banco, no de guiones codificados a mano
• Se introdujo un agente juez que comprueba cada respuesta antes de enviarla
• Si la respuesta no está respaldada por una fuente, se bloquea y el cliente pasa a un operador

Un agente juez contra las alucinaciones

El principal riesgo de implantar LLM en el soporte bancario son las alucinaciones: el modelo puede afirmar con seguridad condiciones de cashback erróneas o reglas que no existen. Para un banco no es solo una mala experiencia de usuario: supone riesgos regulatorios y reputacionales. Just AI resolvió el problema con una verificación en dos niveles. El primer agente genera la respuesta. El segundo, el agente juez, la verifica con la base de conocimiento original. El cliente recibe o bien una respuesta correcta o bien una transferencia a un operador humano.

«El techo de automatización no es un error, es el límite arquitectónico del NLU.

Ayudamos al banco a romperlo cambiando de tecnología, no retocando ajustes», — Just AI.

Qué significa

El paso de bots NLU a agentes LLM no es una mejora, sino un cambio de paradigma. Para los bancos y otras empresas reguladas solo es viable con un control de calidad integrado: aquí el agente juez se convierte en un elemento arquitectónico obligatorio, no en una opción.