Factory AI ускорила итерации в 2 раза с помощью LangSmith от LangChain

Factory AI — компания, разрабатывающая AI-агентов для автоматизации написания кода, — вдвое ускорила скорость итераций после интеграции LangSmith: инструмент LangChain для трассировки и оценки LLM-пайплайнов позволил автоматизировать цикл обратной связи.

Почему без observability трудно

Когда AI-продукт выходит в продакшн, команда часто теряет видимость происходящего. Непонятно, почему агент дал неверный ответ, на каком именно шаге пайплайн сломался и какое изменение промпта улучшило или ухудшило поведение системы. Factory AI столкнулась с этим классическим узким местом: отладка занимала часы, воспроизвести конкретный баг удавалось не всегда, а ручной разбор логов тормозил всю продуктовую работу. LangSmith — платформа LangChain для трассировки, оценки и мониторинга LLM-приложений. Она фиксирует каждый шаг пайплайна: входящий промпт, вызовы модели, промежуточные результаты, финальный ответ и задержку. Дебаггинг становится детерминированным: команда видит точный слепок каждого запроса и может воспроизвести любой кейс прямо из продакшна.

Как закрыли петлю обратной связи Ключевым изменением стала автоматизация feedback loop.

Раньше путь от «пользователь пожаловался» до «мы нашли причину» занимал слишком много времени — особенно когда проблема воспроизводилась нестабильно. После интеграции LangSmith команда Factory AI выстроила структурированный процесс: каждый запрос к агенту трассируется и доступен для детального просмотра в реальном времени автоматические оценки (evals) запускаются на свежих данных из продакшна без ручного запуска версии промптов сравниваются через встроенный эксперимент-фреймворк регрессии после деплоя изолируются за минуты, а не часы * реальные проблемные кейсы автоматически добавляются в тестовый датасет для будущих проверок Структурированный подход заменил ручной разбор: каждое изменение теперь проверяется на реальном трафике, а команда перестала ждать накопления жалоб, чтобы понять, что что-то пошло не так.

Результат: скорость итераций ×2 По данным Factory AI, скорость итераций выросла вдвое.

Цикл «изменил промпт → оценил на реальных данных → принял решение» сократился в два раза по времени. То, что раньше занимало полный рабочий день, теперь укладывается в несколько часов. Для продуктовых команд это принципиально важно: чем короче цикл, тем больше гипотез можно проверить за спринт, тем быстрее растёт качество агентов и тем меньше инженерного времени тратится на детективную работу вместо разработки новых возможностей.

«Мы не можем улучшить то, что не можем измерить» — этот принцип из

классической инженерии наконец начинает системно применяться в LLM-продуктах.

Что это значит

Кейс Factory AI отражает более широкий тренд: AI-компании начинают относиться к LLM-пайплайнам как к настоящим production-системам — с observability, алертами, версионированием промптов и строгим CI/CD-процессом оценки. Без инструментов вроде LangSmith итерации в AI-продуктах превращаются в угадайку, а команды тратят время на поиск проблем вместо их решения. Для команд, которые ещё работают без мониторинга LLM-пайплайнов, этот результат — конкретный аргумент: инвестиция в observability окупается измеримым ускорением разработки и снижением числа «тёмных» проблем в продакшне.