Habr AI: por que sistemas com agentes precisam de novas métricas de controle e segurança

A transição de chatbots para sistemas com agentes muda o próprio objeto de controle. Antes, bastava saber o quanto a resposta do modelo a uma solicitação era útil e correta; agora é preciso avaliar toda a cadeia de ações que ele mesmo constrói. Um agente não apenas gera texto: ele planeja etapas, escolhe ferramentas, solicita dados, pode delegar parte do trabalho a outros agentes e toma decisões intermediárias. Nessa arquitetura, uma resposta final bem acabada já não garante que o sistema tenha funcionado de forma confiável, segura e econômica.

Para um chatbot clássico, as principais métricas costumavam ser qualidade da resposta, precisão da redação, relevância e satisfação do usuário. Num agente, isso não basta, porque o erro pode surgir muito antes da mensagem final. O sistema pode dividir a tarefa em etapas de forma incorreta, escolher uma ferramenta inadequada, encerrar o cenário cedo demais, entrar em loop de ações repetidas ou, ao contrário, dar passos extras e gastar tokens, tempo e requisições externas em excesso. Por isso, o foco passa a ser não só o resultado, mas também a trajetória que o agente percorreu até ele.

Por causa disso, o conjunto de métricas se amplia. Em primeiro lugar vem a taxa de tarefas concluídas com sucesso: não basta o agente dar uma resposta plausível, ele precisa ter atingido o objetivo do usuário sem intervenção manual. Ao lado dela ficam os indicadores de qualidade do planejamento: quão lógicas são as etapas escolhidas, quantas delas são realmente necessárias e com que frequência o plano precisa ser refeito durante a execução.

Também é preciso medir separadamente a correção das chamadas de ferramentas: o agente escolheu a API certa, passou parâmetros válidos, obteve o resultado esperado e conseguiu tratar um erro de forma adequada? Em sistemas multiagente, entram métricas de coordenação: os agentes duplicam o trabalho uns dos outros, perdem contexto ou criam ações conflitantes?

Custo e observabilidade são igualmente importantes. Sistemas com agentes quase sempre saem mais caros que um diálogo comum, porque cada passo adicional, cada chamada a um modelo ou serviço externo tem um preço. Assim, o controle deve considerar o número médio de iterações por tarefa, o consumo de tokens, a frequência de requisições repetidas, o tempo de execução e a proporção de ações sem sentido.

Em paralelo, crescem as exigências de rastreamento: a equipe precisa ver que decisão o agente tomou em cada etapa, em quais dados se baseou, por que escolheu determinada ferramenta e em que momento se desviou do cenário esperado. Sem essa transparência, é impossível depurar o comportamento, investigar falhas ou provar conformidade com as políticas internas.

Os requisitos de segurança também mudam. Se o chatbot arriscava principalmente gerar um texto incorreto ou perigoso, o agente pode executar uma ação indesejada: enviar uma requisição ao lugar errado, obter acesso excessivo a dados, alterar um registro num sistema ou usar uma ferramenta fora do contexto permitido. Por isso, a arquitetura com agentes exige permissões de acesso granulares, abordagem de sandbox para as ferramentas, políticas rígidas de execução de ações, limites de autonomia e mecanismos de parada caso o sistema passe a ter comportamento suspeito. A segurança deixa de ser um filtro na entrada e na saída e passa a fazer parte do circuito operacional.

Outra mudança diz respeito à operação. Para um sistema com agentes, não basta cumprir a tarefa no cenário ideal; ele também precisa degradar com segurança diante de uma falha. Métricas de recuperação se tornam úteis: com que frequência o agente consegue corrigir o próprio erro, quando repassa a tarefa a uma pessoa, quantos incidentes exigem análise manual e com que rapidez a equipe consegue reproduzir um problema a partir dos logs. Na prática, isso significa que as equipes de produto e de plataforma precisam projetar não só a inteligência do agente, mas também seus modos de falha, monitoramento e procedimentos de intervenção.

A principal conclusão é que sistemas com agentes não podem ser avaliados pelas mesmas regras de interfaces de chat comuns. As empresas precisam passar da verificação da qualidade da resposta para uma engenharia de execução completa: medir conclusão de tarefas, robustez dos planos, correção das chamadas de ferramentas, custo, rastreabilidade e cumprimento das regras de segurança. Quanto mais autônomo o LLM se torna, mais o controle sobre ele se aproxima do monitoramento de um serviço de software complexo, e menos da edição de falas acertadas ou erradas.