O erro não está no LLM: como a arquitetura se disfarça de qualidade do modelo

A experiência de implantar LLMs em serviços ao cliente revelou um padrão perigoso: quando um LLM dá uma resposta errada, muitas vezes a culpa não é dele.

Demo vs. realidade

Na demo piloto, o sistema funcionava perfeitamente: o modelo respondia com naturalidade, o negócio via progresso e a equipe comparava diferentes LLMs e ajustava prompts. Depois chegaram usuários reais, dados reais e restrições reais. As respostas ficaram confiantes, mas às vezes erradas.

A culpa não era do modelo

A equipe planejava trocar por um LLM mais potente. Mas a análise dos logs mostrou que, em parte dos diálogos, o modelo não deveria ter respondido. O routing enviava o usuário para o ramo answer, embora a API retornasse uma partial response, caso em que é preciso fazer handoff para um humano.

• O problema estava no roteamento, não na qualidade da geração
• A API retorna partial, então o sistema deve encaminhar o usuário ao suporte
• Mas o LLM recebia o partial como resposta completa e escrevia uma geração convincente, porém errada
• O modelo dava voz elegante aos erros da arquitetura

Onde estavam os erros de verdade

Os bugs mais caros não estavam no LLM. Estavam em:

• Routing, que envia os usuários para os ramos errados
• Integrações de API, que não distinguem resposta partial de full
• Lógica de handoff, ou seja, quando passar para um humano
• Base de conhecimento, com informações desatualizadas ou incompletas
• Camada de compliance, ou seja, conformidade com regulações
• Métricas, ou seja, o que afinal conta como erro

A virada

A mudança veio quando a pergunta mudou. Em vez de "Por que o LLM respondeu errado?", a equipe perguntou: "Por que o sistema colocou o modelo numa situação em que não podia existir resposta correta?"

A conclusão é amarga: um LLM forte não compensa uma arquitetura fraca. Sem um routing decente, um responsável pela base de conhecimento e uma lógica de handoff clara, comparar modelos costuma virar uma distração cara. É melhor gastar tempo no sistema do que nos prompts.