Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарLangChain Blog→ оригинал

LangChain подняла coding-агента из топ-30 в топ-5 Terminal Bench, не меняя модель

LangChain подняла coding-агента Deep Agents из-за пределов топ-30 в топ-5 Terminal Bench 2.0, не меняя модель: переделали только обвязку (harness). Стартовые 52,8% на GPT-5.2-Codex вытянули тремя правками: проверка решения тестами, подсказки об окружении и лимитах времени, защита от зацикливания. Если агент ошибается, сначала разберите его трейсы и доработайте harness, а уже потом меняйте модель.

AI-обработка оригинала LangChain Blog; редакция Hamidun News
LangChain подняла coding-агента из топ-30 в топ-5 Terminal Bench, не меняя модель
Источник: LangChain Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLangChain Blog ↗
Главный редактор
Ключевой факт #1Перед выходом агента middleware заставляет сверить решение с заданием
Ключевой факт #2После нескольких правок одного файла агент получает совет пересмотреть подход
Рассуждениемного на планировании и проверке, меньше на реализации

Когда coding-агент работает плохо, первая мысль — взять модель посильнее. Команда LangChain проверила другой путь: оставила модель прежней и переделала всё, что вокруг неё. Её агент Deep Agents на бенчмарке Terminal Bench 2.0 поднялся с места чуть за пределами топ-30 в топ-5 рейтинга. Меняли только harness, то есть обвязку: системный промпт, инструменты и промежуточные хуки вокруг вызовов модели и инструментов.

Как искали слабые места

Terminal Bench 2.0 — стандартный набор для проверки агентов-программистов: 89 задач из машинного обучения, отладки, биологии и других областей. Базовая версия агента с GPT-5.2-Codex набрала 52,8%. Это неплохо, но ниже топ-30.

Дальше LangChain построила повторяемый цикл. Все действия агента пишутся в трейсы LangSmith вместе с задержками, числом токенов и стоимостью. Анализ трейсов оформили как Agent Skill: он скачивает трейсы прогона, запускает параллельных агентов-разборщиков ошибок, а главный агент собирает их выводы в предложения по правкам. Человек может проверить и обсудить изменения, но это необязательно. Есть и предостережение: правки, заточенные под одну задачу, ломают другие, поэтому обобщать нужно осторожно. Навык обещают опубликовать.

Что именно улучшило результат

Самопроверка. Самая частая ошибка выглядела так: агент пишет решение, перечитывает свой код, решает, что всё в порядке, и останавливается. В промпт добавили порядок работы: изучить задачу и код, составить план с учётом проверки, написать тесты (включая крайние случаи, а не только удачный сценарий), запустить их, прочитать вывод целиком и сравнить с тем, что просили в задании, а не с собственным кодом. Дополнительно сделали PreCompletionChecklistMiddleware: он перехватывает агента перед завершением и заставляет ещё раз сверить результат со спецификацией.

Контекст об окружении. Агент не знает заранее структуру каталогов, установленные инструменты и жёсткие таймауты. Поэтому при старте ему сразу выдают карту директорий и список доступных инструментов. Так он реже ошибается при поиске. Агенту также сказали, что решение будут проверять программные тесты. Пути к файлам из задания нужно соблюдать буквально. Добавили и предупреждения о лимите времени: агенты плохо оценивают время и не успевают дойти до проверки.

Выход из зацикливания. Агент, выбрав план, иногда по 10 и более раз вносит мелкие вариации в заведомо неработающий подход. Middleware считает правки каждого файла и после определённого числа добавляет подсказку пересмотреть стратегию. Это помогает не всегда: если модель уверена в своей правоте, она может продолжить тот же путь.

Бюджет на рассуждение. Максимальный бюджет на каждый шаг тратит время и упирается в таймауты. LangChain выбрала схему «сэндвич»: xhigh на планировании, high на реализации, снова xhigh на финальной проверке. Заметной разницы между разными вариантами распределения в пробных запусках не было, так что остановились на этом. В многомодельной связке по той же логике можно отдать планирование большой модели, а реализацию — малой.

Что из этого взять себе

Во-первых, трейсы нужны как источник обратной связи. Часто модель идёт неверным путём потому, что у неё нет нужного инструмента или инструкции, и разбирать надо промпты и инструменты вместе.

Во-вторых, ограждения вроде детектора зацикливания и напоминаний о тестах — временная мера под сегодняшние слабости моделей. Авторы сами пишут, что по мере развития моделей такие костыли, скорее всего, станут лишними.

В-третьих, обвязку нужно подгонять под конкретную модель. Тест с Claude Opus 4.6 на ранней версии harness оказался конкурентным, но хуже Codex: цикл улучшений для Claude не запускали. Общие принципы (подготовка контекста, упор на проверку) переносятся, но несколько итераций под свою модель и задачу всё равно окупаются.

Ограничения тоже есть. Результат получен на одном бенчмарке с жёсткими таймаутами, а в реальной работе таких лимитов обычно нет. Поэтому подсказки про время и часть эвристик придётся адаптировать. Дальше LangChain собирается исследовать связки из нескольких моделей (Codex, Gemini, Claude), память для непрерывного обучения агентов и способы измерять эффект правок harness на разных моделях. Deep Agents — проект с открытым кодом.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как искали слабые места?

Terminal Bench 2.0 — стандартный набор для проверки агентов-программистов: 89 задач из машинного обучения, отладки, биологии и других областей. Базовая версия агента с GPT-5.2-Codex набрала 52,8%. Это неплохо, но ниже топ-30. Дальше LangChain построила повторяемый цикл. Все действия агента пишутся в трейсы LangSmith вместе с задержками, числом токенов и стоимостью.

Что известно по теме: что именно улучшило результат?

Самопроверка. Самая частая ошибка выглядела так: агент пишет решение, перечитывает свой код, решает, что всё в порядке, и останавливается. В промпт добавили порядок работы: изучить задачу и код, составить план с учётом проверки, написать тесты (включая крайние случаи, а не только удачный сценарий), запустить их, прочитать вывод целиком и сравнить с тем, что просили в задании, а не с собственным кодом.

Что известно по теме: что из этого взять себе?

Во-первых, трейсы нужны как источник обратной связи. Часто модель идёт неверным путём потому, что у неё нет нужного инструмента или инструкции, и разбирать надо промпты и инструменты вместе. Во-вторых, ограждения вроде детектора зацикливания и напоминаний о тестах — временная мера под сегодняшние слабости моделей. Авторы сами пишут, что по мере развития моделей такие костыли, скорее всего, станут лишними. В-третьих, обвязку нужно подгонять под конкретную модель.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…