LangChain подняла coding-агента из топ-30 в топ-5 Terminal Bench, не меняя модель
LangChain подняла coding-агента Deep Agents из-за пределов топ-30 в топ-5 Terminal Bench 2.0, не меняя модель: переделали только обвязку (harness). Стартовые 52,8% на GPT-5.2-Codex вытянули тремя правками: проверка решения тестами, подсказки об окружении и лимитах времени, защита от зацикливания. Если агент ошибается, сначала разберите его трейсы и доработайте harness, а уже потом меняйте модель.
AI-обработка оригинала LangChain Blog; редакция Hamidun News
Когда coding-агент работает плохо, первая мысль — взять модель посильнее. Команда LangChain проверила другой путь: оставила модель прежней и переделала всё, что вокруг неё. Её агент Deep Agents на бенчмарке Terminal Bench 2.0 поднялся с места чуть за пределами топ-30 в топ-5 рейтинга. Меняли только harness, то есть обвязку: системный промпт, инструменты и промежуточные хуки вокруг вызовов модели и инструментов.
Как искали слабые места
Terminal Bench 2.0 — стандартный набор для проверки агентов-программистов: 89 задач из машинного обучения, отладки, биологии и других областей. Базовая версия агента с GPT-5.2-Codex набрала 52,8%. Это неплохо, но ниже топ-30.
Дальше LangChain построила повторяемый цикл. Все действия агента пишутся в трейсы LangSmith вместе с задержками, числом токенов и стоимостью. Анализ трейсов оформили как Agent Skill: он скачивает трейсы прогона, запускает параллельных агентов-разборщиков ошибок, а главный агент собирает их выводы в предложения по правкам. Человек может проверить и обсудить изменения, но это необязательно. Есть и предостережение: правки, заточенные под одну задачу, ломают другие, поэтому обобщать нужно осторожно. Навык обещают опубликовать.
Что именно улучшило результат
Самопроверка. Самая частая ошибка выглядела так: агент пишет решение, перечитывает свой код, решает, что всё в порядке, и останавливается. В промпт добавили порядок работы: изучить задачу и код, составить план с учётом проверки, написать тесты (включая крайние случаи, а не только удачный сценарий), запустить их, прочитать вывод целиком и сравнить с тем, что просили в задании, а не с собственным кодом. Дополнительно сделали PreCompletionChecklistMiddleware: он перехватывает агента перед завершением и заставляет ещё раз сверить результат со спецификацией.
Контекст об окружении. Агент не знает заранее структуру каталогов, установленные инструменты и жёсткие таймауты. Поэтому при старте ему сразу выдают карту директорий и список доступных инструментов. Так он реже ошибается при поиске. Агенту также сказали, что решение будут проверять программные тесты. Пути к файлам из задания нужно соблюдать буквально. Добавили и предупреждения о лимите времени: агенты плохо оценивают время и не успевают дойти до проверки.
Выход из зацикливания. Агент, выбрав план, иногда по 10 и более раз вносит мелкие вариации в заведомо неработающий подход. Middleware считает правки каждого файла и после определённого числа добавляет подсказку пересмотреть стратегию. Это помогает не всегда: если модель уверена в своей правоте, она может продолжить тот же путь.
Бюджет на рассуждение. Максимальный бюджет на каждый шаг тратит время и упирается в таймауты. LangChain выбрала схему «сэндвич»: xhigh на планировании, high на реализации, снова xhigh на финальной проверке. Заметной разницы между разными вариантами распределения в пробных запусках не было, так что остановились на этом. В многомодельной связке по той же логике можно отдать планирование большой модели, а реализацию — малой.
Что из этого взять себе
Во-первых, трейсы нужны как источник обратной связи. Часто модель идёт неверным путём потому, что у неё нет нужного инструмента или инструкции, и разбирать надо промпты и инструменты вместе.
Во-вторых, ограждения вроде детектора зацикливания и напоминаний о тестах — временная мера под сегодняшние слабости моделей. Авторы сами пишут, что по мере развития моделей такие костыли, скорее всего, станут лишними.
В-третьих, обвязку нужно подгонять под конкретную модель. Тест с Claude Opus 4.6 на ранней версии harness оказался конкурентным, но хуже Codex: цикл улучшений для Claude не запускали. Общие принципы (подготовка контекста, упор на проверку) переносятся, но несколько итераций под свою модель и задачу всё равно окупаются.
Ограничения тоже есть. Результат получен на одном бенчмарке с жёсткими таймаутами, а в реальной работе таких лимитов обычно нет. Поэтому подсказки про время и часть эвристик придётся адаптировать. Дальше LangChain собирается исследовать связки из нескольких моделей (Codex, Gemini, Claude), память для непрерывного обучения агентов и способы измерять эффект правок harness на разных моделях. Deep Agents — проект с открытым кодом.
- 21 нояб. 2026 г.Сбой Microsoft: почти 83 000 жалоб на Outlook в Downdetector, лежали Teams и Copilot
- 21 нояб. 2026 г.Нейросеть Claude Opus 5.5 достраивает хоррор Dimension 9 из 15 комнат автора
- 21 нояб. 2026 г.Microsoft сделала Copilot «ОС для работы»: Word и Excel стали плагинами агента
- 21 нояб. 2026 г.ИИ пишет уязвимый код в 44% тестов: Positive Technologies дала агентам сканер
Вопросы и ответы по материалу
Что известно по теме: как искали слабые места?
Terminal Bench 2.0 — стандартный набор для проверки агентов-программистов: 89 задач из машинного обучения, отладки, биологии и других областей. Базовая версия агента с GPT-5.2-Codex набрала 52,8%. Это неплохо, но ниже топ-30. Дальше LangChain построила повторяемый цикл. Все действия агента пишутся в трейсы LangSmith вместе с задержками, числом токенов и стоимостью.
Что известно по теме: что именно улучшило результат?
Самопроверка. Самая частая ошибка выглядела так: агент пишет решение, перечитывает свой код, решает, что всё в порядке, и останавливается. В промпт добавили порядок работы: изучить задачу и код, составить план с учётом проверки, написать тесты (включая крайние случаи, а не только удачный сценарий), запустить их, прочитать вывод целиком и сравнить с тем, что просили в задании, а не с собственным кодом.
Что известно по теме: что из этого взять себе?
Во-первых, трейсы нужны как источник обратной связи. Часто модель идёт неверным путём потому, что у неё нет нужного инструмента или инструкции, и разбирать надо промпты и инструменты вместе. Во-вторых, ограждения вроде детектора зацикливания и напоминаний о тестах — временная мера под сегодняшние слабости моделей. Авторы сами пишут, что по мере развития моделей такие костыли, скорее всего, станут лишними. В-третьих, обвязку нужно подгонять под конкретную модель.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.