AgentLens: code-agents evaluation shifts from outcome to process

Исследователи представили AgentLens — бенчмарк для оценки code-агентов в июле 2026 года. В отличие от стандартных тестов, которые сводят результат к простому pass/fail, AgentLens анализирует всю траекторию работы агента: как он следует инструкциям, использует доступные инструменты, проверяет свой код, восстанавливается после ошибок и общается с пользователем.

Почему старые подходы недостаточны

Типичный бенчмарк для code-агентов работает предельно просто: дана задача — решена она или нет. Результат сводится к одному бинарному значению: 1 или 0, pass или fail. Это удобно для быстрого ранжирования моделей, но совершенно не отражает реальный опыт пользователя.

Люди, которые работают с code-агентами в production, видят гораздо больше. Они взаимодействуют с агентом на протяжении всего процесса его работы, следят за ходом его рассуждений, видят ошибки, которые он допускает, наблюдают, как он восстанавливается и меняет стратегию. Они задают ему уточняющие вопросы, просят переписать код, указывают на баги.

Стандартные бенчмарки не фиксируют ничего из этого. Они не объясняют, почему агент взял именно такой подход, какие промежуточные шаги казались ему логичными, где он застрял. Финальный результат может быть технически правильным, но путь до него может быть далёким, неэффективным, полным неудачных попыток.

Как работает AgentLens

AgentLens комбинирует несколько подходов к оценке в единую систему:

• Формальная верификация — объективные проверки там, где они возможны (синтаксис кода, логика, результаты unit-тестов)
• LLM-написанные траектория-reviews — специально натренированные модели анализируют весь путь агента, оценивая каждый шаг и решение
• Side-by-side сравнения — система показывает визуальное сравнение между версиями агентов, выделяя различия в поведении

Результат каждого запуска — не просто балл от 1 до 10, а подробное текстовое объяснение на естественном языке. Система описывает: почему агент получил именно такую оценку, какие решения были логичны и правильны, где он ошибся, как из ошибок выходил, был ли эффективен в использовании инструментов.

Где используется AgentLens

Бенчмарк оказался полезен не только для ранжирования разных моделей. Разработчики используют его для трёх основных целей:

• Диагностики поведения — глубокое понимание того, где агент систематически ошибается, какие классы задач ему даются сложнее всего, какие инструменты он недоиспользует
• Сравнения версий собственного агента — отслеживание того, улучшилась ли качество между релизами или произошла регрессия в каком-то аспекте
• Автоматического мониторинга — ночные пайплайны тестирования ловят проблемы до того, как они попадут в боевые системы

Что это значит

AgentLens символизирует более широкий тренд в AI-сообществе: оценка code-агентов переходит от простых метрик к комплексному анализу всего процесса работы. Вместо бинарного yes/no система теперь дает полную картину: какие решения принял агент, почему, что получилось, что не получилось.

Это помогает разработчикам не только улучшать итоговые результаты, но и глубже понимать, как рассуждают их AI-системы, какие типы задач им даются легко, а какие вызывают проблемы.

Бенчмарк выпущен в открытом исходном коде на GitHub, что позволяет исследователям и разработчикам по всему миру использовать его для своих проектов.