O Erro não Está no LLM: Como Arquitetura Mascara Problemas como Qualidade do Modelo

A experiência de implementação de LLMs em serviços para clientes revelou um padrão perigoso: quando um LLM dá uma resposta incorreta, frequentemente não é sua culpa.

Demo vs realidade

Durante a demonstração piloto, o sistema funcionava perfeitamente: o modelo respondia suavemente, o negócio via progresso, a equipe comparava diferentes LLMs e ajustava prompts. Depois chegaram usuários reais com dados reais e limitações reais. As respostas ficaram confiantes, mas às vezes incorretas.

A culpa não está no modelo

A equipe planejava mudar para um LLM mais poderoso. Mas a análise de registros mostrou: em alguns diálogos, o modelo não deveria ter respondido em absoluto. O roteamento estava enviando o usuário para uma ramificação de resposta quando a API retornava uma resposta parcial — em tais casos, o encaminhamento para um humano era necessário.

• O problema estava no roteamento, não na qualidade da geração
• API retorna parcial — o sistema deveria redirecionar para o suporte
• Mas o LLM recebeu o parcial como uma resposta completa e escreveu uma geração confiante, mas incorreta
• O modelo expressou eloquentemente os erros arquitetônicos

Onde viviam os erros reais

Os erros mais caros não estavam no LLM. Estavam em:

• Roteamento — envia incorretamente os usuários por ramificações
• Integração de API — resposta parcial vs completa não diferenciada
• Lógica de encaminhamento — quando transferir para um humano
• Base de conhecimento — informação desatualizada ou incompleta
• Camada de conformidade — conformidade regulatória
• Métricas — o que conta como um erro em absoluto

O ponto de inflexão

A mudança ocorreu quando a pergunta mudou. Em vez de "Por que o LLM respondeu incorretamente?" a equipe perguntou: "Por que o sistema colocou o modelo em uma situação onde uma resposta correta era impossível?"

Conclusão

Um LLM forte não compensa uma arquitetura fraca. Se não há roteamento adequado, sem proprietário da base de conhecimento e sem lógica de encaminhamento clara, a comparação de modelos frequentemente se torna uma distração cara. Melhor gastar tempo no sistema do que em prompts.