Los creadores de un gestor de AI para marketplaces eliminaron el agente y recortaron 461 líneas de código

Cuatro días después del lanzamiento, el equipo que desarrolla un gestor de AI para vendedores de marketplaces eliminó por completo a su agente. En las pruebas internas parecía un éxito, pero las conversaciones reales mostraron otra cosa: las respuestas sonaban seguras y, aun así, se apoyaban en una pequeña parte de los datos. En lugar de arreglarlo, los desarrolladores descartaron su propio núcleo y pasaron el ciclo del agente a Pydantic AI. El commit resultó revelador: 582 líneas eliminadas, 121 añadidas.

Los tests decían una cosa; las conversaciones, otra

Para la evaluación, el equipo montó un conjunto de referencia: ocho tareas típicas por cada rol y un modelo juez que puntúa la respuesta de 1 a 5 y ve los datos con los que respondió el agente. Según ese conjunto, el agente superó al antiguo analizador de frases en siete de los nueve roles, y el gestor de marketplaces obtuvo 4,28.

Después, los autores leyeron los propios diálogos. El propietario pregunta por qué han caído las ventas y el agente mira diez productos de cien: la herramienta devuelve «hasta 15 resultados» y, además, la tabla que recibe el modelo se recorta. La conclusión es fluida, pero se basa en una décima parte de la tienda. El juez no detecta este error, porque los datos que vio el agente son coherentes con la conclusión. Es un punto ciego típico de la evaluación con LLM: el juez comprueba que la respuesta sea coherente con el contexto, no que el contexto esté completo.

Otros problemas tenían el mismo origen:

• El wrapper de reseñas devolvía las reseñas recientes, no todas. La petición «analiza todo el último medio año» chocaba con la ausencia de un método, y el agente respondía «todavía no sé hacerlo». La lista de peticiones de este tipo crecía en el panel de administración más rápido de lo que el equipo escribía nuevos wrappers.
• Las descripciones de las herramientas incluían indicaciones como «una o dos llamadas con palabras amplias» y «hasta 15». El modelo las seguía incluso donde la tarea requería veinte llamadas.
• El límite de ocho pasos por turno no bastaba para tareas del tipo «averigua por qué cae el nicho». Lo subieron a 50 pasos y 15 minutos, pero el efecto fue pequeño: el agente no se topaba con el número de pasos, sino con que cada paso le daba solo un fragmento de los datos.

La conclusión de los autores: temían la libertad del agente y decidían por él cuánto mirar, qué mostrar y cómo usar la herramienta. Cada decisión parecía razonable, pero juntas convirtieron al agente en un ejecutor que hace exactamente lo que dice la instrucción.

Por qué descartaron el núcleo en lugar de arreglarlo

El núcleo propio incluía el ciclo, las llamadas a herramientas, los reintentos ante cortes, la compresión de pasos antiguos y los grupos de herramientas. Todo eso exigía mantenimiento y no tenía nada de único: los lectores del artículo anterior señalaron con razón que era un ReAct corriente. El valor del producto está en otros sitios: en las herramientas para cada plataforma, en las reglas de escritura en el panel del vendedor y en cómo se presenta la respuesta al propietario.

Por eso sustituyeron el ciclo por Pydantic AI. Las herramientas poco usadas se cargan mediante DeferredLoadingToolset solo tras una búsqueda, en lugar de ocupar el contexto de cada paso. Del conjunto ya existente tomaron la búsqueda de DuckDuckGo con ocho resultados y la carga de páginas a partir de un enlace. Desactivaron el límite de peticiones: usage_limits.request_limit es None. Las herramientas propias se mantuvieron y se invocan a través de las mismas funciones, de modo que las tablas para el propietario, el registro de acciones y las reglas de escritura no cambiaron.

Una herramienta en lugar de decenas de wrappers

El cambio principal es de principio. Antes, al agente se le daban herramientas y se le explicaba cómo usarlas. Ahora recibe acceso, una herramienta y documentación, y elige por sí mismo cómo usarla.

Toda la API de Wildberries pasó a ser una sola herramienta que da acceso a 307 métodos, más una herramienta aparte con la documentación oficial. Fichas de producto, precios, existencias, pedidos, envíos, publicidad, reseñas, chats y finanzas están a disposición del agente en la misma medida que de la propia API. Si un método no aparece en la documentación, la herramienta devuelve una indicación para verificarlo mediante una consulta a la documentación. Los métodos de lectura se ejecutan de inmediato y completos, sin recortes. También está conectada la API del servicio de analítica MPStats. Eliminaron del prompt la biblioteca de conocimiento: la documentación está junto a la API y el agente busca el resto por sí mismo en internet.

Una regla sobrevivió a la reescritura: cualquier escritura en el panel del vendedor solo se hace tras el «sí» del propietario. Lo que cambió fue la mecánica. Las escrituras de cada turno se acumulan en un único paquete, por ejemplo: «cambiar el precio de tres productos, subir la puja en dos campañas, responder a cuatro reseñas». El propietario ve la lista en formato «antes → después» y responde una sola vez. El paquete se ejecuta en orden y se detiene en el primer error.

Entre las mejoras menores figuran la lectura en paralelo (mientras el agente revisa los pedidos, ya comprueba las existencias y la publicidad), las ediciones estrictamente de una en una, la salida de texto en streaming con estados como «leyendo las reseñas de marzo», la memorización en el proyecto de las llamadas a la API que funcionaron y la reanudación del turno desde el mismo punto tras un fallo del modelo o de la búsqueda.

Por ahora, los autores no ofrecen resultados de la nueva versión. Solo escriben que el agente ha empezado a profundizar más, y que eso los ha llevado a preguntarse si usan el modelo adecuado. En el material no hay cifras de calidad ni del coste en tokens con los límites desactivados. Para los equipos que construyen agentes sobre API cerradas, la conclusión es práctica: conviene comprobar primero si los wrappers propios recortan lo que el modelo debería ver completo.