SIBUR adicionou um critico de IA ao seu sistema multiagente e reduziu a avaliacao de ideias de 88 dias para duas semanas

Toda equipe precisa de alguem que pergunte na hora certa: "De onde vieram esses numeros?" Na SIBUR, a empresa decidiu transformar esse cetico em um agente de IA separado, e essa acabou sendo uma das decisoes mais uteis do projeto.

Qual problema estava sendo resolvido

A SIBUR produz materia-prima polimerica, que seus clientes usam para fabricar embalagens, tubos, seringas e janelas. Para ampliar seu mercado, a empresa avalia continuamente ideias de substituicao: se uma peca atualmente feita de metal poderia ser produzida com um polimero. Cada ideia exige uma pesquisa extensa sobre propriedades do material, condicoes de uso, normas, demanda e viabilidade economica. Antes, a avaliacao de uma unica hipotese levava, em media, 88 dias uteis. Com o sistema multiagente, o processo leva ate duas semanas, incluindo verificacoes e aprovacoes.

Como o sistema funciona

O sistema tem 16 etapas: 14 etapas de IA e duas fases deterministicas. Os agentes pesquisadores coletam argumentos em diferentes areas, enquanto o critico verifica se esses argumentos resistem a analise, se alguma restricao foi ignorada e se existem contradicoes. O mecanismo principal funciona com o Google Gemini: o Pro cuida dos raciocinios complexos, e o Flash, das tarefas simples. O Claude foi escolhido como critico porque e bom em verificacao, embora executar todo o trabalho nele fosse caro demais. Para buscar contexto, o sistema usa o Perplexity Sonar Pro; a opcao de reserva, Sonnet com Web Search, e mais lenta e cerca de cinco vezes mais cara.

Um exemplo do trabalho do critico: um pesquisador escreve que o material e mais barato e, portanto, a substituicao e vantajosa. O critico verifica exatamente o que foi comparado. Se apenas o preco de compra entrou na comparacao, isso esta longe de ser suficiente para concluir algo sobre o custo total de propriedade. Em outra execucao, sobre embalagens multicamadas, ele elevou o risco de delaminacao apos a esterilizacao e exigiu testes antes e depois do processamento. A recomendacao recebeu o status "somente piloto".

Nao ha discussoes interminaveis: a critica ocupa uma unica etapa. Um especialista inicia qualquer nova pesquisa e, se a sintese final rejeitar o argumento do critico, deve explicar o motivo. Os agentes atribuem as pontuacoes, enquanto o veredito e determinado por regras predefinidas.

Onde o sistema falhou

As primeiras respostas pareciam convincentes, mas os especialistas encontraram erros. Um texto detalhado e coerente pode esconder uma premissa incorreta.

• O sistema avaliou embalagens medicas de acordo com normas de construcao SNiP. A solucao foi configurar o sistema por segmento: um especialista responde uma vez a um conjunto de perguntas e carrega documentos, que depois podem ser reutilizados pelos colegas.
• "Plastico ABS" virou "freios." Foi criado um glossario do setor.
• O sistema comparava o preco de compra e ignorava os custos operacionais. Foi adicionada uma metodologia de custo total de propriedade, e agora a falta de dados fica visivel no resultado.
• Um agente citou uma norma revogada. Agora o sistema verifica se o documento continua vigente e se e aplicavel.

Outro problema envolveu a palavra "obechaika," que significa a capa externa de um copo: nao havia nenhum segmento correspondente no catalogo. Foi necessario permitir que os usuarios adicionassem seus proprios segmentos.

Como o sistema se tornou uma ferramenta pratica

Velocidade: chamadas de busca independentes e dois pares de etapas—normas com economia, e mercado com propriedades para o consumidor—sao executados em paralelo. A equipe limitou o numero de rodadas de busca e o volume de paginas baixadas, alem de eliminar a duplicacao de contexto na sintese final. Utilidade: "nao substituir" e considerado um resultado completo, pois pode economizar meses. Estabilidade: novos segmentos, documentos e mudancas de modelos exigem manutencao continua.

O que podemos aprender

Se voce esta construindo um sistema de agentes para decisoes em que errar custa caro, atribua a verificacao a uma funcao separada e, sempre que possivel, use outro modelo para ela. Defina as regras do veredito fora do LLM, adicione um glossario especializado e verifique se as fontes continuam vigentes. Mantenha uma pessoa no fim do processo: o critico tambem pode errar. Uma limitacao do material e a ausencia de numeros sobre a qualidade do critico, por isso nao esta claro quantos erros ele realmente detecta. Ainda assim, a ideia de separar "geracao" de "contestacao" pode ser bem aplicada a outros dominios.