SIBUR incorporo un critico de IA a su sistema multiagente y redujo la evaluacion de ideas de 88 dias a dos semanas

Todo equipo necesita a alguien que pregunte en el momento oportuno: "¿De donde salen estas cifras?" En SIBUR decidieron convertir a ese esceptico en un agente de IA independiente, y resulto ser una de las decisiones mas utiles del proyecto.

Que problema trataban de resolver

SIBUR produce materias primas polimericas que sus clientes utilizan para fabricar envases, tuberias, jeringas y ventanas. Para ampliar su mercado, la empresa evalua continuamente ideas de sustitucion: si una pieza que actualmente es metalica podria fabricarse con un polimero. Cada idea exige una investigacion exhaustiva sobre las propiedades del material, las condiciones de uso, la normativa, la demanda y la viabilidad economica. Antes, evaluar una hipotesis llevaba una media de 88 dias laborables. Con el sistema multiagente, el proceso tarda hasta dos semanas, incluidas las revisiones y aprobaciones.

Como funciona el sistema

El sistema consta de 16 pasos: 14 etapas de IA y dos fases deterministas. Los agentes investigadores recopilan argumentos en distintas areas, mientras que el critico comprueba si resisten el analisis, si se ha omitido alguna restriccion y si existen contradicciones. El motor principal funciona con Google Gemini: Pro se ocupa de los razonamientos complejos y Flash de las tareas sencillas. Claude fue elegido como critico porque verifica bien, aunque ejecutar todo el flujo de trabajo con este modelo seria demasiado caro. Para buscar contexto se utiliza Perplexity Sonar Pro, mientras que la alternativa de respaldo, Sonnet con Web Search, es mas lenta y aproximadamente cinco veces mas cara.

Un ejemplo del trabajo del critico: un investigador escribe que un material es mas barato y que, por tanto, la sustitucion resulta rentable. El critico comprueba que se comparo exactamente. Si solo se tuvo en cuenta el precio de compra, eso dista mucho de permitir una conclusion sobre el coste total de propiedad. En otra ejecucion, dedicada a envases multicapa, el critico elevo el riesgo de delaminacion tras la esterilizacion y exigio ensayos antes y despues del tratamiento. La recomendacion recibio el estado "solo piloto".

No hay debates interminables: la critica ocupa una sola etapa. Un experto inicia cualquier nueva investigacion y, si la sintesis final rechaza el argumento del critico, debe explicar por que. Los agentes asignan las puntuaciones, mientras que el veredicto se determina mediante reglas predefinidas.

Donde fallaba el sistema

Las primeras respuestas parecian convincentes, pero los expertos encontraron errores. Un texto detallado y coherente puede ocultar una premisa incorrecta.

• El sistema evaluo envases medicos conforme a las normas de construccion SNiP. La solucion fue configurar el sistema por segmentos: un experto responde una vez a una serie de preguntas y carga documentos que despues pueden reutilizar sus colegas.
• "Plastico ABS" se convirtio en "frenos." Se incorporo un glosario sectorial.
• Se comparaba el precio de compra y se olvidaban los costes de operacion. Se anadio una metodologia de coste total de propiedad, y ahora la falta de datos queda visible en el resultado.
• Un agente cito una norma derogada. Ahora se comprueba la vigencia y la aplicabilidad del documento.

Hubo otro problema con la palabra "obechaika," que designa la funda exterior de un vaso: el catalogo no contenia ningun segmento adecuado. Por ello fue necesario permitir que los usuarios anadieran sus propios segmentos.

Como lo convirtieron en una herramienta practica

Velocidad: las consultas de busqueda independientes y dos pares de etapas—normativa con economia, y mercado con propiedades de consumo—se ejecutan en paralelo. Se limito el numero de rondas de busqueda y el volumen de paginas descargadas, y se elimino la duplicacion de contexto en la sintesis final. Utilidad: "no sustituir" se considera un resultado plenamente valido, porque permite ahorrar meses. Estabilidad: los nuevos segmentos, los documentos y los cambios de modelos exigen mantenimiento continuo.

Que podemos aprender

Si se desarrolla un sistema de agentes para decisiones en las que equivocarse resulta costoso, conviene asignar la verificacion a una funcion independiente y, cuando sea posible, utilizar otro modelo para ella. Las reglas del veredicto deben fijarse fuera del LLM; tambien hay que incorporar un glosario especializado y comprobar que las fuentes sigan vigentes. La decision final debe quedar en manos de una persona: el critico tambien puede equivocarse. Una limitacion del material es que no aporta cifras sobre la calidad del critico, por lo que no queda claro cuantos errores detecta realmente. Aun asi, la idea de separar la "generacion" de la "objecion" se puede trasladar bien a otros ambitos.