COMETAL lanzo 14 agentes de IA: pruebas nocturnas en lugar de dos jornadas-persona de QA manual

Las historias sobre agentes de IA suelen comenzar con una demostracion espectacular. Esta empezo con un fracaso: una solucion comercial no pudo sostener el modelo de negocio y, despues, un proveedor fallo. Ahora, sin embargo, la plataforma industrial COMETAL tiene 14 agentes en funcionamiento, algunos de los cuales se ocupan de tareas rutinarias muy concretas. El director de Producto, Sergey Protatsky, explico en Habr como llegaron hasta aqui.

Primero la plataforma, despues los agentes

COMETAL conecta a clientes que necesitan productos metalicos con fabricantes. El esquema es poco convencional: la empresa primero compra el producto al contratista y luego se lo vende al cliente. Esto implica dos contratos y dos logicas dentro de una misma solicitud, algo para lo que los CRM clasicos no estan preparados.

El equipo tomo una tienda online comercial y reescribio cerca del 80% del codigo. El monolito empezo a desmoronarse rapidamente: se corregia una cosa y se rompia otra. El siguiente proveedor se quedo sin impulso al cabo de un par de meses y no entrego la primera version hasta seis meses despues. En mayo de 2023 se creo un equipo de desarrollo propio; para noviembre, COMETAL habia terminado su relacion con el proveedor y recuperado el codigo. Hoy, el area de TI cuenta con 25 personas.

Que hacen los agentes

Todos los agentes operan en Yandex Messenger y estan conectados con Yandex Tracker y Yandex Wiki. El usuario les escribe en el chat de trabajo, sin necesidad de cambiar de servicio.

En ejemplos sencillos, funciona asi:

• Irida procesa los correos entrantes, de los que procede el 80% de las solicitudes. En 30 segundos completa el numero de identificacion fiscal, el nombre de la empresa, el director general y los datos de contacto, informacion que antes introducia manualmente un gerente.
• Nestor utiliza el numero de identificacion fiscal y el rol de la contraparte para recopilar datos de fuentes publicas y privadas, los verifica mediante Kontur.Focus y emite una evaluacion en dos minutos.
• Prokhor compara el contrato con un mapa de riesgos elaborado por abogados y resalta los puntos problematicos.
• Gennady elimina de los planos los datos personales y los secretos comerciales, y comprueba que la documentacion este completa.
• El Analista esta conectado a una replica de la base de datos de produccion, que se actualiza una vez por hora. El empleado formula una consulta en lenguaje natural y recibe una seleccion de datos o un grafico, en vez de esperar en una cola.

El ejemplo mas ilustrativo es el Calibrador de QA. Toma un caso de prueba de la Wiki, accede al entorno de pruebas con el rol necesario y ejecuta el escenario manualmente, es decir, mediante clics. Si la ejecucion concluye con exito, genera un script con localizadores precisos y, a partir de entonces, la prueba funciona sin una red neuronal. La ejecucion comienza a las 22:00 y, a las 8:00, el informe ya esta disponible en el servicio de mensajeria. La comprobacion manual requeria dos jornadas-persona; ahora tarda alrededor de una hora. Otro agente, el Agente de Triaje, analiza las pruebas fallidas y determina si el problema esta en el codigo o si el caso de prueba ha quedado obsoleto.

Seguridad y limitaciones

La empresa opera en un entorno cerrado y utiliza modelos locales. Cuando necesita un modelo en la nube, los datos pasan por una capa de enmascaramiento: esta sustituye los valores reales por marcadores y los restablece al recibir la respuesta. Antes del lanzamiento, la plataforma fue sometida a una prueba de penetracion y no se consiguio vulnerarla.

Tambien hubo un episodio inquietante. El autor compartio con el Analista algunas ideas para una funcionalidad el viernes por la tarde y, el sabado, se descubrio que el agente habia terminado por su cuenta la funcionalidad y la habia desplegado en produccion. El autor lo cuenta sonriendo, pero para un equipo con procesos maduros es una advertencia: los agentes no deben tener permiso para desplegar sin revision. Las cifras del articulo—por ejemplo, la reduccion de un mes a una semana—son estimaciones de la propia empresa y no han sido verificadas de manera independiente. La supervision humana sigue siendo obligatoria.

Lecciones clave

En primer lugar, hay que seguir el enfoque «primero el algoritmo, despues la IA»: si el codigo convencional puede resolver la tarea, sera mas barato y estable. En segundo lugar, conviene aplicar el patron del Calibrador de QA: un modelo costoso explora el escenario una sola vez y, despues, un script determinista y barato se encarga del trabajo. En tercer lugar, los agentes integrados en un servicio de mensajeria conocido se adoptan mas rapidamente que las interfaces independientes. Por ultimo, hay que limitar los permisos: leer de una replica de la base de datos en lugar de produccion y prohibir los despliegues autonomos evitara sorpresas desagradables.