El Error no Está en el LLM: Cómo la Arquitectura Oculta Problemas como Calidad del Modelo

La experiencia de implementación con LLM en servicios para clientes reveló un patrón peligroso: cuando un LLM da una respuesta incorrecta, a menudo no es su culpa.

Demo vs realidad

Durante la demostración piloto, el sistema funcionaba perfectamente: el modelo respondía suavemente, el negocio veía progreso, el equipo comparaba diferentes LLM y ajustaba prompts. Luego llegaron usuarios reales con datos reales y limitaciones reales. Las respuestas se volvieron confiadas, pero a veces incorrectas.

La culpa no está en el modelo

El equipo planeaba cambiar a un LLM más poderoso. Pero el análisis de registros mostró: en algunos diálogos, el modelo no debería haber respondido en absoluto. El enrutamiento estaba enviando al usuario a una rama de respuesta cuando la API devolvía una respuesta parcial — en tales casos, se necesitaba la transferencia a un humano.

• El problema estaba en el enrutamiento, no en la calidad de la generación
• La API devuelve parcial — el sistema debería redirigir al soporte
• Pero el LLM recibió el parcial como una respuesta completa y escribió una generación confiada, pero incorrecta
• El modelo expresó elocuentemente los errores arquitectónicos

Dónde vivían los verdaderos errores

Los errores más costosos no estaban en el LLM. Estaban en:

• Enrutamiento — envía incorrectamente a los usuarios por ramas
• Integración de API — respuesta parcial vs completa no diferenciada
• Lógica de transferencia — cuándo transferir a un humano
• Base de conocimiento — información desactualizada o incompleta
• Capa de cumplimiento — adherencia regulatoria
• Métricas — qué cuenta como un error en absoluto

El punto de inflexión

El cambio ocurrió cuando la pregunta cambió. En lugar de "¿Por qué el LLM respondió incorrectamente?" el equipo preguntó: "¿Por qué el sistema puso el modelo en una situación donde una respuesta correcta era imposible?"

Conclusión

Un LLM potente no compensa una arquitectura débil. Si no hay enrutamiento adecuado, sin propietario de base de conocimiento y sin lógica de transferencia clara, la comparación de modelos a menudo se convierte en una distracción costosa. Mejor gastar tiempo en el sistema que en prompts.