Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Agente de IA reduz a mediana de resolução de solicitações de 22 horas para 22 minutos

Um agente de IA em um serviço de suporte reduziu a mediana do tempo até a resolução efetiva de uma solicitação de 21 horas e 52 minutos para 22 minutos. Mas o encerramento formal ainda levava 49 horas, e, após uma atualização, duas de cada dez respostas ficaram mais rápidas e piores. A principal lição do caso: velocidade e o status «resolvido» não podem ser tomados como qualidade sem verificar o conteúdo da resposta.

Processado por IA de Habr AI; editado por Hamidun News
Agente de IA reduz a mediana de resolução de solicitações de 22 horas para 22 minutos
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Meça o tempo até uma resposta útil, não até o encerramento do cartão.
Dado-chave #2Verifique cada atualização do agente em um conjunto permanente de solicitações reais.
Dado-chave #3Distinga a ausência de dados de um erro da ferramenta ou da falta de permissões.

O número parece quase indecentemente bom: após o lançamento do agente de IA, a mediana do tempo até a resolução efetiva da solicitação caiu de 21 horas e 52 minutos para 22 minutos, cerca de 59 vezes. Mas são justamente esses resultados os mais perigosos de aceitar sem análise.

A equipe estudou 1.876 solicitações encerradas antes do lançamento e 3.078 depois dele. Não se trata de um experimento controlado: os temas, o volume do fluxo e o número de incidentes em massa eram diferentes. Por isso, o caso não prova que todo o efeito foi criado pelo agente. Em compensação, mostra bem como medir uma automação em funcionamento e onde métricas atraentes começam a mentir.

Uma solicitação encerrada não significa um problema resolvido

No CRM, uma solicitação podia continuar aberta por dois dias depois de o usuário receber uma instrução funcional em 12 minutos. Também ocorria o contrário: o status do cartão mudava, embora ainda não houvesse uma resposta substancial.

Por isso, a equipe considerou como ponto de resolução a última resposta útil do agente ou do engenheiro antes da cauda técnica. O agradecimento do usuário, o encerramento automático, a mudança de status, o pedido de logs e o comentário interno não contavam, por si sós, como resolução.

A diferença foi enorme. Após o lançamento, a mediana da resolução efetiva foi de 22 minutos, e a do encerramento formal, de 49 horas e 2 minutos. Ainda assim, a cauda longa não desapareceu: 90% das solicitações foram resolvidas em 76 horas e 36 minutos. Somente a mediana facilmente esconderia os casos pesados.

Das 3.078 solicitações encerradas, o agente resolveu 1.647, encaminhou outras 743 aos engenheiros, e as 688 restantes não passaram pelo circuito do agente. No entanto, a proporção de 53,5% não deve ser lida como «o agente substituiu o engenheiro na metade dos casos». Ele recebia previamente temas com diagnóstico claro, dados disponíveis e cenário seguro. Os casos complexos ficavam com mais frequência com as pessoas.

Mais rápido às vezes significa pior

Após uma atualização, a equipe reexecutou dez solicitações antigas, sem enviar as respostas aos clientes. Em cinco casos a nova versão respondeu melhor, em dois mais ou menos igual, em um o resultado foi misto e em dois piorou. As duas respostas que pioraram apareceram mais rápido que as anteriores.

Em um exemplo, o agente deixou de corrigir erros de digitação óbvios nos códigos de objetos. A busca estrita protegia contra correspondências falsas, mas não entendia a diferença entre o dígito 0, o O latino e o O cirílico. Formalmente o comportamento ficou mais seguro e reprodutível, mas para o usuário, menos útil.

A correção foi uma busca limitada de substituições admissíveis. O sistema verifica apenas variantes predefinidas e aceita a correção se encontrar uma única correspondência. Havendo várias, o agente pede esclarecimento. É um compromisso prático entre o palpite do modelo e a rigidez inútil.

O que verificar em produção

A primeira regra é separar o resultado da ferramenta do seu status. Uma resposta vazia pode significar que não há registro, mas também timeout, indisponibilidade do serviço, falta de permissões ou dados incompletos. O agente não deve transformar uma verificação malsucedida em um diagnóstico confiante.

A segunda é não permitir que o modelo apresente um detalhe técnico verossímil como fato estabelecido. O nome de uma tabela, campo ou API só pode ser incluído na resposta quando tiver sido encontrado nos dados atuais, na documentação ou em um esquema verificado.

A terceira é manter um conjunto de regressão de solicitações reais. Ele deve ser ampliado após cada nova classe de erro e executado quando mudarem o prompt, as ferramentas, a busca ou a ordem das fontes. Vale avaliar separadamente a correção da ação de serviço e a qualidade da resposta à pessoa.

A conclusão prática é simples: a implantação de um agente não termina com o lançamento e uma alta proporção de resoluções automáticas. São necessários a mediana e o percentil 90 do tempo até uma resposta útil, a análise das escalações, status explícitos das ferramentas e verificações de regressão permanentes. Caso contrário, a equipe corre o risco de não eliminar o erro, mas apenas ensinar o sistema a cometê-lo mais rápido.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Uma solicitação encerrada não significa um problema resolvido?

No CRM, uma solicitação podia continuar aberta por dois dias depois de o usuário receber uma instrução funcional em 12 minutos. Também ocorria o contrário: o status do cartão mudava, embora ainda não houvesse uma resposta substancial. Por isso, a equipe considerou como ponto de resolução a última resposta útil do agente ou do engenheiro antes da cauda técnica.

O que se sabe sobre Mais rápido às vezes significa pior?

Após uma atualização, a equipe reexecutou dez solicitações antigas, sem enviar as respostas aos clientes. Em cinco casos a nova versão respondeu melhor, em dois mais ou menos igual, em um o resultado foi misto e em dois piorou. As duas respostas que pioraram apareceram mais rápido que as anteriores. Em um exemplo, o agente deixou de corrigir erros de digitação óbvios nos códigos de objetos.

O que verificar em produção?

A primeira regra é separar o resultado da ferramenta do seu status. Uma resposta vazia pode significar que não há registro, mas também timeout, indisponibilidade do serviço, falta de permissões ou dados incompletos. O agente não deve transformar uma verificação malsucedida em um diagnóstico confiante. A segunda é não permitir que o modelo apresente um detalhe técnico verossímil como fato estabelecido.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
O que você acha?
Carregando comentários…