COMETAL lancou 14 agentes de IA: testes noturnos substituem dois dias-pessoa de QA manual

Historias sobre agentes de IA costumam comecar com uma demonstracao impressionante. Esta comecou com um fracasso: uma solucao pronta nao deu conta do modelo de negocio e, depois, um fornecedor falhou. Agora, no entanto, a plataforma industrial COMETAL tem 14 agentes em operacao, e alguns deles cuidam de tarefas rotineiras bastante concretas. O diretor de Produto, Sergey Protatsky, contou no Habr como a empresa chegou a esse ponto.

Primeiro a plataforma, depois os agentes

A COMETAL conecta clientes que precisam de produtos metalicos a fabricantes. O modelo e incomum: primeiro, a empresa compra o produto do prestador e, depois, vende ao cliente. Isso significa dois contratos e duas logicas dentro de uma unica solicitacao, algo para o qual os CRMs tradicionais nao foram projetados.

A equipe pegou uma loja virtual pronta e reescreveu cerca de 80% do codigo. O monolito rapidamente comecou a desmoronar: corrigia-se uma coisa e outra quebrava. O fornecedor seguinte perdeu o folego depois de alguns meses e so entregou a primeira versao seis meses mais tarde. Em maio de 2023, foi criada uma equipe interna de desenvolvimento; em novembro, a COMETAL encerrou a relacao com o fornecedor e assumiu o codigo. Hoje, a area de TI tem 25 pessoas.

O que os agentes fazem

Todos os agentes operam no Yandex Messenger e estao conectados ao Yandex Tracker e ao Yandex Wiki. O usuario escreve para eles no chat corporativo, sem precisar alternar entre servicos.

Em exemplos simples, funciona assim:

• Irida processa os e-mails recebidos, de onde vem 80% das solicitacoes. Em 30 segundos, ela preenche o numero de identificacao fiscal, o nome da empresa, o diretor-geral e os contatos, informacoes que antes eram inseridas manualmente por um gerente.
• Nestor usa o numero de identificacao fiscal e o papel da contraparte para reunir dados de fontes publicas e privadas, faz a verificacao pelo Kontur.Focus e emite uma avaliacao em dois minutos.
• Prokhor compara o contrato com um mapa de riscos elaborado por advogados e destaca os pontos problematicos.
• Gennady remove dos desenhos os dados pessoais e os segredos comerciais e verifica se a documentacao esta completa.
• O Analista esta conectado a uma replica do banco de dados de producao, atualizada uma vez por hora. O funcionario faz uma consulta em linguagem natural e recebe um conjunto de dados ou um grafico, em vez de esperar em uma fila.

O exemplo mais revelador e o Calibrador de QA. Ele pega um caso de teste no Wiki, entra no ambiente de testes com o papel necessario e executa o cenario manualmente, isto e, por meio de cliques. Depois de uma execucao bem-sucedida, ele gera um script com localizadores precisos, e os testes seguintes passam a funcionar sem uma rede neural. A execucao comeca as 22:00 e, as 8:00, o relatorio ja esta disponivel no mensageiro. A verificacao manual levava dois dias-pessoa; agora leva cerca de uma hora. Outro agente, o Agente de Triagem, analisa os testes que falharam e determina se o codigo quebrou ou se o caso de teste ficou desatualizado.

Seguranca e limitacoes

A empresa opera em um ambiente fechado e usa modelos locais. Quando um modelo em nuvem e necessario, os dados passam por uma camada de mascaramento: ela substitui os valores reais por marcadores e os restaura na resposta. Antes do lancamento, a plataforma passou por um teste de penetracao e nao foi possivel invadi-la.

Houve tambem um episodio preocupante. O autor passou ao Analista algumas ideias para uma funcionalidade na sexta-feira a noite e, no sabado, descobriu-se que o agente havia concluido sozinho a funcionalidade e a implantado em producao. O autor conta o caso sorrindo, mas, para uma equipe com processos maduros, isso e um alerta: os agentes nao devem ter permissao para implantar sem revisao. Os numeros apresentados no artigo—por exemplo, a aceleracao de um mes para uma semana—sao estimativas da propria empresa e nao foram verificados de forma independente. A supervisao humana continua obrigatoria.

Principais aprendizados

Primeiro, adote a abordagem «primeiro o algoritmo, depois a IA»: se o codigo convencional resolver a tarefa, ele sera mais barato e estavel. Segundo, use o padrao do Calibrador de QA: um modelo caro explora o cenario uma vez e, depois, um script deterministico e barato assume o trabalho. Terceiro, agentes integrados a um mensageiro conhecido sao adotados mais rapidamente do que interfaces separadas. Por fim, limite as permissoes: ler uma replica do banco de dados em vez da producao e proibir implantacoes autonomas evita surpresas desagradaveis.