Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Агент вместо чат-бота: AutoGen решил задачу за 8 170 токенов, LangChain — за 10 070

RAG — это чат-бот с поиском по базе: он отвечает за один проход, а агент крутится в цикле «подумал — вызвал инструмент — проверил». В тесте AIMultiple на разборе четырёх колонок JSON AutoGen вызвал инструменты параллельно и потратил 8 170 токенов (единиц текста, за которые платят) и 47 секунд, LangChain — по очереди: 10 070 токенов и 86 секунд. Поэтому фреймворк стоит выбирать по замеру на своих задачах, а не по популярности.

AI-обработка оригинала Habr AI; редакция Hamidun News
Агент вместо чат-бота: AutoGen решил задачу за 8 170 токенов, LangChain — за 10 070
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1LATS с GPT-4 решает 92,7% задач HumanEval с первой попытки, ReAct — около 80%
LangGraph в том же тесте9 150 токенов и 70 секунд, вызовов от 6 до 16
Ключевой факт #3Агента держат в песочнице без сети по умолчанию, тесты служат судьёй

Слово «агент» сегодня приклеивают почти к любому чат-боту, а разница между ними прямо влияет на счёт за токены (так называют кусочки текста, за которые платят провайдеру модели) и на риски. Обычный RAG — это чат-бот, который перед ответом ищет нужные документы в вашей базе знаний: получил вопрос, достал текст, ответил, остановился. Агент устроен иначе: он сам вызывает инструменты и повторяет шаги, пока не решит задачу. В обзоре на Хабре независимый эксперт Андрей Бирюков сравнил подходы и фреймворки AutoGen, LangGraph, LangChain и CrewAI. На одной и той же задаче AutoGen потратил 8 170 токенов, а LangChain — 10 070. Ниже разбор с упором на инженерную сторону и деньги.

Один проход против цикла

Классическая RAG-система обрабатывает запрос за один проход: собрала контекст, сгенерировала ответ, закончила. Агент держит в голове цель и историю своих действий, решает, что делать дальше, вызывает инструмент, смотрит на результат и возвращается к рассуждению. Цикл крутится, пока задача не решена или не кончились деньги и лимит итераций.

Пример из статьи: «уведомить клиентов о задержке». Чат-бот напишет текст письма. Агент сам запросит в CRM просроченные заказы, составит письма с конкретными датами, отправит их через почтовый API, обновит статус в базе и в конце проверит, что обработаны все заказы.

Подходы к рассуждению разные. Chain-of-Thought показывает промежуточные шаги, но ошибки в длинной цепочке копятся. Tree-of-Thought разворачивает ветки, но заметно дороже по вычислениям. ReAct чередует мысль и действие и остаётся самым практичным. Reflexion записывает неудачи в память и учитывает их в следующей попытке. Самый сильный вариант из перечисленных — LATS: он применяет поиск по дереву Монте-Карло и на тесте HumanEval (задачи на написание кода) с GPT-4 решает 92,7% задач с первой попытки, тогда как ReAct на той же модели даёт около 80%. Причина в том, что генератор вариантов и оценщик разделены, а в задачах с кодом судьёй выступают тесты, линтер и проверка типов. Агент не может убедить себя, что всё хорошо, если тесты красные.

Сколько стоят фреймворки

Самая полезная для практика часть — замер AIMultiple на обработке неструктурированных данных. Задача: разобрать четыре независимые колонки JSON.

  • AutoGen: один ход модели с четырьмя параллельными вызовами инструментов, 8 170 токенов, медианная задержка 47 секунд.
  • LangGraph: 9 150 токенов и 70 секунд. Число вызовов инструментов гуляло от 6 до 16, потому что система склонна повторять уже выполненные шаги.
  • LangChain с последовательным AgentExecutor: 4 хода, 10 070 токенов, 86 секунд.

Вывод простой: параллельные вызовы инструментов экономят и время, и токены, а лишние повторы, как в LangGraph, бьют по бюджету.

Автор пересчитывает это в деньги по ценам GPT-4o ($2,50 за миллион входных и $10 за миллион выходных токенов) для 1 000 задач в день. Получается примерно $12–18 в день для оптимизированного LangGraph, $18–28 для CrewAI и $25–40 для AutoGen. При 10 000 задач в день разница между фреймворками, по его оценке, достигает $47 000–80 000 в год. Здесь есть несостыковка: в токенном тесте AutoGen самый экономный, а в денежной оценке самый дорогой. Вероятно, на реальных сценариях число шагов и размер промптов сильно отличаются от лабораторной задачи. Методику расчёта источник не раскрывает, поэтому считать стоит на собственных данных.

Память и безопасность

Для долгих задач нужна память. LangGraph сохраняет состояние через контрольные точки, например через AgentCoreMemorySaver, и агент может продолжить работу после сбоя. Microsoft Agent Framework создаёт контрольные точки автоматически при каждом запуске workflow. Reflexion хранит вместо полного состояния короткие текстовые «уроки» о неудачах: это компактнее, но менее предсказуемо.

Расширение возможностей агента расширяет и поверхность атаки. Автор советует запускать агентов в песочнице, по умолчанию запрещать весь входящий и исходящий трафик и открывать только нужные соединения через списки доступа. Ещё полезно разделять среду агента, инфраструктуру вывода и песочницу для команд, а доступ к учётным данным ограничивать. Встроенные настройки выполнения кода в AutoGen и CrewAI не заменяют изоляцию процессов: она остаётся на разработчике. Вторая линия защиты — проверка действий внешними тестами, а где формальной проверки нет, LLM-as-judge (другая модель в роли судьи) с откалиброванной шкалой.

Что из этого взять

Текст в основном обзорный, без собственных экспериментов автора. Тем не менее три практических вывода из него взять можно. Первый: перед выбором фреймворка замерьте токены, число вызовов и задержку на своей задаче. Второй: где возможно, делайте вызовы инструментов параллельными. Третий: ставьте над агентом объективного судью (тесты, линтер, валидаторы) и держите его в изолированной среде с жёсткими лимитами итераций и бюджета.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: один проход против цикла?

Классическая RAG-система обрабатывает запрос за один проход: собрала контекст, сгенерировала ответ, закончила. Агент держит в голове цель и историю своих действий, решает, что делать дальше, вызывает инструмент, смотрит на результат и возвращается к рассуждению. Цикл крутится, пока задача не решена или не кончились деньги и лимит итераций. Пример из статьи: «уведомить клиентов о задержке». Чат-бот напишет текст письма.

Что известно по теме: сколько стоят фреймворки?

Самая полезная для практика часть — замер AIMultiple на обработке неструктурированных данных. Задача: разобрать четыре независимые колонки JSON. AutoGen: один ход модели с четырьмя параллельными вызовами инструментов, 8 170 токенов, медианная задержка 47 секунд. LangGraph: 9 150 токенов и 70 секунд. Число вызовов инструментов гуляло от 6 до 16, потому что система склонна повторять уже выполненные шаги. LangChain с последовательным AgentExecutor: 4 хода, 10 070 токенов, 86 секунд.

Что известно по теме: память и безопасность?

Для долгих задач нужна память. LangGraph сохраняет состояние через контрольные точки, например через AgentCoreMemorySaver, и агент может продолжить работу после сбоя. Microsoft Agent Framework создаёт контрольные точки автоматически при каждом запуске workflow. Reflexion хранит вместо полного состояния короткие текстовые «уроки» о неудачах: это компактнее, но менее предсказуемо. Расширение возможностей агента расширяет и поверхность атаки.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…