Factory AI duplica su velocidad de iteración con LangSmith, de LangChain

Factory AI, una empresa que desarrolla agentes de IA para automatizar la escritura de código, duplicó su velocidad de iteración tras integrar LangSmith. La herramienta de LangChain para el rastreo y la evaluación de pipelines de LLM permitió al equipo automatizar su ciclo de feedback.

Por qué es difícil depurar sin observabilidad

Cuando un producto de IA llega a producción, los equipos suelen perder visibilidad de lo que ocurre. No está claro por qué el agente dio una respuesta errónea, en qué paso falló el pipeline ni si un cambio de prompt mejoró o empeoró el comportamiento del sistema. Factory AI se topó con este cuello de botella clásico: depurar llevaba horas, no siempre se lograba reproducir un fallo concreto y el análisis manual de logs frenaba todo el trabajo de producto.

LangSmith es la plataforma de LangChain para rastrear, evaluar y monitorizar aplicaciones de LLM. Registra cada paso del pipeline: el prompt de entrada, las llamadas al modelo, los resultados intermedios, la respuesta final y la latencia. La depuración se vuelve determinista: el equipo ve una instantánea exacta de cada solicitud y puede reproducir cualquier caso directamente desde producción.

Cómo cerraron el ciclo de feedback

El cambio clave fue la automatización del feedback loop. Antes, el camino entre «un usuario se quejó» y «encontramos la causa» tardaba demasiado, sobre todo cuando el problema se reproducía de forma inestable. Tras integrar LangSmith, el equipo de Factory AI montó un proceso estructurado:

• cada solicitud al agente se rastrea y puede consultarse al detalle en tiempo real
• las evaluaciones automáticas (evals) se ejecutan sobre datos recientes de producción sin lanzamiento manual
• las versiones de los prompts se comparan mediante el framework de experimentos integrado
• las regresiones tras un despliegue se aíslan en minutos, no en horas
• los casos problemáticos reales se añaden automáticamente a un dataset de pruebas para futuras comprobaciones

El enfoque estructurado sustituyó al análisis manual: cada cambio se verifica ahora con tráfico real, y el equipo ya no espera a que se acumulen quejas para saber que algo ha fallado.

El resultado: velocidad de iteración ×2

Según Factory AI, la velocidad de iteración se duplicó. El ciclo «cambiar el prompt → evaluar con datos reales → tomar una decisión» se redujo a la mitad. Lo que antes ocupaba una jornada laboral completa ahora se resuelve en unas pocas horas.

Para los equipos de producto esto es fundamental: cuanto más corto el ciclo, más hipótesis se pueden probar por sprint, más rápido mejora la calidad de los agentes y menos tiempo de ingeniería se dedica a labores de detective en lugar de desarrollar nuevas funciones.

«No podemos mejorar lo que no podemos medir».

Este principio de la ingeniería clásica empieza por fin a aplicarse de forma sistemática en los productos con LLM.

Qué significa

El caso de Factory AI refleja una tendencia más amplia: las empresas de IA empiezan a tratar los pipelines de LLM como auténticos sistemas de producción, con observabilidad, alertas, versionado de prompts y un proceso estricto de evaluación en CI/CD. Sin herramientas como LangSmith, iterar en productos de IA se convierte en una adivinanza, y los equipos gastan tiempo buscando problemas en lugar de resolverlos.

Para los equipos que aún trabajan sin monitorización de sus pipelines de LLM, este resultado es un argumento concreto: invertir en observabilidad se amortiza con un desarrollo medible más rápido y menos problemas «oscuros» en producción.