LangSmith получил AI Search: трейсы агентов теперь ищутся по описанию поведения

LangChain добавила в LangSmith режим AI Search: трейсы можно искать обычным языком. Разработчик описывает поведение, которое ищет, и платформа возвращает прогоны, где оно случилось. Анонс вышел 13 октября 2026 года, и он короткий: он описывает идею, но не называет ни модель, ни лимиты, ни цену. Идея при этом бьёт в давнюю боль всех, кто эксплуатирует агентов в продакшене.

Что именно запустили

LangSmith — платформа наблюдаемости и оценки от создателей LangChain. Каждый запуск агента фиксируется как трейс: цепочка вызовов модели, инструментов, промежуточных рассуждений и ответов. Когда агент работает не первый день, таких трейсов накапливаются тысячи.

До сих пор их искали по структурированным полям: статус, длительность, теги, имя инструмента, стоимость. Это работает, если вы заранее знаете, какой признак искать. AI Search меняет вход. Вместо набора условий вы пишете фразу вроде «пользователь раздражён ответом» или «агент повторно вызывает один и тот же инструмент». Система сама определяет, какие трейсы под это описание подходят.

Ключевые факты из анонса:

• Формат запроса: естественный язык, без специального синтаксиса.
• Критерий поиска: поведение агента, а не значения полей.
• Результат: набор трейсов, в которых это поведение произошло.
• Дата анонса: 13 октября 2026 года, блог LangChain.
• Не раскрыто: модель для интерпретации запросов, лимиты, цена, поддерживаемые языки запросов.

Почему поиск по поведению нужен именно агентам

У обычного сервиса сбой выглядит как ошибка 500 или всплеск задержки. Агент ломается тоньше. Он может формально завершить задачу и при этом сделать лишний десяток вызовов, проигнорировать инструкцию из системного промпта или уверенно выдумать данные. Статус у такого трейса будет «успешно», и фильтр по статусу его не покажет.

Поэтому команды вынуждены вручную читать выборки трейсов или писать отдельные оценщики под каждый тип проблемы. Поиск по описанию сдвигает порядок работы. Сначала вы формулируете гипотезу («кажется, агент путается, когда пользователь меняет условия посреди диалога»), затем сразу видите примеры. Из удачных примеров потом можно собрать тестовый набор или оценщик.

Для LangChain это логичный ход. Конкуренты в наблюдаемости LLM, от Langfuse до Arize и Braintrust, тоже движутся к семантическому анализу трейсов. Продукт, который живёт на данных о том, что делали агенты, закономерно добавляет слой, позволяющий эти данные спрашивать.

Что пока остаётся вопросом

Из текста анонса неясно несколько вещей, и от них зависит реальная ценность функции.

Первое — точность. Семантический поиск по длинным трейсам с вложенными вызовами может пропускать нужное или приносить шум. Ответ на вопрос, какова доля пропусков, пока не опубликован.

Второе — масштаб. Неизвестно, ищет ли система по всему проекту или по выбранному окну времени, и сколько это стоит в токенах.

Третье — приватность. Трейсы часто содержат пользовательские данные. Команды с жёсткими требованиями захотят знать, какая модель читает их трейсы и где она работает.

Как использовать на практике

Если ваши агенты уже пишут трейсы в LangSmith, разумно проверить функцию на известных проблемах. Возьмите три-пять случаев, которые вы раньше находили руками, опишите их фразами и сравните выдачу с тем, что знаете. Так вы быстро оцените полноту и шум.

Формулируйте запросы через наблюдаемое действие, а не через оценку: «агент вызвал поиск больше трёх раз подряд» надёжнее, чем «агент работал плохо». Найденные трейсы стоит сохранять в датасет для регрессионных тестов, чтобы разовая находка превращалась в постоянную проверку.

И последнее. Пока LangChain не опубликовала цифры по качеству и стоимости, относитесь к AI Search как к быстрому способу разведки, а не как к единственному источнику правды о поведении агента. Критичные сценарии по-прежнему лучше закрывать явными оценщиками и метриками.