Como parar de adivinhar e começar a medir a qualidade de agentes de IA

Toda equipe que colocou um agente de IA em produção enfrenta, mais cedo ou mais tarde, o mesmo pesadelo. O usuário escreve para o suporte: "seu bot está falando bobagem". O desenvolvedor abre os logs, olha o prompt e a resposta, e não consegue determinar o que deu errado. É uma regressão do commit de ontem? Um efeito colateral da troca de modelo? Ou apenas um caso de borda infeliz que sempre existiu? A equipe do Bitrix24 passou por todas as etapas desse processo com seu agente de IA, a Marta, e agora compartilha lições que todo mundo que trabalha com grandes modelos de linguagem em produção deveria absorver.

A Marta é um assistente de IA dentro do ecossistema do Bitrix24 que interage com o CRM, gerencia tarefas e responde a perguntas dos usuários. No início, tudo parecia simples: abrir o chat, fazer uma pergunta e avaliar a resposta a olho. É o teste manual clássico, que funciona enquanto o agente sabe fazer dez coisas. Mas, quando a funcionalidade da Marta cresceu, essa abordagem começou a desmoronar. Um engenheiro não consegue fisicamente rodar duzentos cenários após cada ajuste de prompt. E, no desenvolvimento moderno de produtos de IA, mexer em prompts não é exceção, e sim rotina diária.

O problema descrito pela equipe é sistêmico. A engenharia de prompts é instável por natureza: a menor mudança na redação de uma instrução pode afetar de forma imprevisível o comportamento do modelo em dezenas de contextos diferentes. Some a isso as trocas periódicas de versão dos modelos pelos provedores, as atualizações dos prompts de sistema e a ampliação do conjunto de ferramentas disponíveis ao agente, e o resultado é uma explosão combinatória de possíveis pontos de falha. Sem controle de qualidade automatizado, a equipe trabalha praticamente às cegas, reagindo aos problemas depois que acontecem em vez de preveni-los.

A solução a que o Bitrix24 chegou foi construir um sistema completo de benchmarks. A ideia é formalizar as expectativas em relação ao agente de IA como um conjunto de cenários de teste com critérios de sucesso mensuráveis. Não são testes unitários no sentido clássico: as respostas de um modelo de linguagem são não determinísticas, e verificar correspondência exata não faz sentido. Em vez disso, usam-se métricas que avaliam relevância, completude, correção das chamadas de ferramentas e adequação ao tom de comunicação. Na prática, a equipe constrói um análogo automatizado da avaliação de especialistas, que pode ser executado após cada alteração.

O caminho da ideia até o sistema funcionando levou cerca de seis meses. É um número honesto, que diz muito sobre a maturidade das ferramentas nessa área. Praticamente não existem soluções prontas que possam ser plugadas em um agente de IA qualquer. Cada equipe precisa definir por conta própria quais métricas refletem a qualidade do seu produto, como gerar e manter atualizados os datasets de teste, como interpretar os resultados e integrar os benchmarks ao pipeline de CI/CD. O Bitrix24 ressalta que sua abordagem não está presa a um stack específico, e esse talvez seja o ponto mais valioso da experiência.

A história da Marta reflete uma tendência mais ampla do setor. À medida que os agentes de IA deixam de ser experimentos e passam a ser ferramentas críticas para o negócio, as exigências de confiabilidade crescem de forma exponencial. Empresas como Anthropic, OpenAI e Google investem em sistemas de avaliação de modelos no nível das plataformas, mas, no nível de cada produto, a responsabilidade pela qualidade continua com as equipes de desenvolvimento. O problema se agrava porque os usuários perdem rapidamente a confiança em um assistente de IA depois de algumas respostas ruins, e recuperá-la é bem mais difícil do que perdê-la.

A mudança cultural por trás dessa transição merece atenção à parte. Testar agentes de IA manualmente não é só uma prática ineficiente: é uma falsa sensação de controle. O engenheiro que verificou vinte de duzentos cenários tende a achar que o sistema funciona corretamente, quando na verdade testou apenas dez por cento da superfície. Benchmarks automatizados não eliminam a incerteza por completo, mas a tornam visível e mensurável. E o que pode ser medido pode ser melhorado.

A experiência do Bitrix24 é um sinal para toda a indústria de desenvolvimento de IA de língua russa. A era em que dava para colocar um agente de IA em produção com um "parece que funciona" está chegando ao fim. O que vem pela frente é a era das métricas, dos benchmarks e do controle contínuo de qualidade. E as equipes que dominarem essas práticas primeiro terão uma vantagem decisiva na disputa pela confiança dos usuários.