Surge: Opus на xhigh набрал +11,3 балла, а обвязки вроде Superpowers дали максимум +3

Последние месяцы лента забита обвязками для кодинг-агентов: скиллы, плагины, оркестры из десятков субагентов. Звучит солидно, но помогает ли это на самом деле? Команда Surge проверила это на бенчмарке и получила результат, который многим не понравится: самый эффективный апгрейд оказался самым скучным.

Как проводили тест

В Claude Code взяли Opus 5.5 и дали ему 100 реальных инженерных задач из бенчмарка sudo L7. Он проверяет не только то, что «тесты прошли», а инженерные суждения уровня staff: нашёл ли агент корневую причину, проверил ли соседние сценарии, не сломал ли что-то рядом.

Сравнивали ванильный Claude Code, Superpowers (311K+ звёзд на GitHub), Compound Engineering (25K+ звёзд) и встроенные плагины /goal и /code-review. Базой служил чистый Opus на medium.

Что получилось

• Superpowers: +2,4 балла при стоимости около 1,1× от базы.
• /goal + /code-review: +3,3 балла при 1,8×.
• Compound Engineering: примерно 8× по стоимости и статистически незаметный прирост.
• Opus на xhigh без всяких надстроек: +11,3 балла при 3,5×.

Больше всего xhigh прибавил в проверке и тщательности (+14,9) и в упорстве (+9,8). То есть модель не стала «умнее», она просто перестала останавливаться на первом правдоподобном исправлении.

Пример из отчёта

Видеоредактор падает, если нет первого клипа. На medium агент чинит очевидное место, рапортует об успехе и получает 14 из 100 за $0,12. На xhigh он замечает, что фикс уводит выполнение в fallback, где клип тоже предполагается, находит второй баг и получает 100 из 100 за $0,41. Разница в цене копеечная, разница в качестве огромная.

Ещё нагляднее случай с задачей «добавить ссылку на Zoom и пасскод в письмо-подтверждение». Одно из решений (авторы не говорят, какое) подключило 37 дополнительных скиллов и запустило 17 агентов: пять на ревью плана, пять на упрощение, семь на код-ревью. И ни один не заметил главного: письмо уходит до оплаты, а значит, пасскод получат и те, кто не заплатил. Много агентов не равно много внимания, они смотрят на одну и ту же задачу одинаково.

Что делать на практике

1. Прежде чем ставить очередной фреймворк, поднимите effort. Это одна настройка, а не новая зависимость.
2. Считайте стоимость за решённую задачу, а не за запуск. Дорогой xhigh часто выходит дешевле, чем несколько итераций с правками.
3. Если используете скиллы, измеряйте их вклад на своих задачах. Звёзды на GitHub не показатель качества.
4. Для критичных мест, например платежей и доступа, не полагайтесь на ревью агентов. Бизнес-логику стоит проверять человеку.

Ограничения

Это один бенчмарк, одна модель и одна среда запуска. Задачи подобраны вендором, а разница между конфигурациями на малых выборках может быть шумом. Возможно, на других моделях или длинных многошаговых проектах оркестрация покажет себя лучше. Кроме того, xhigh стоит в 3,5 раза дороже, и для рутинных правок это может быть лишним.

Но направление ясное: начинайте с простого рычага. Если модель ошибается из-за спешки, лишние агенты проблему не решат, а дадут вам счёт побольше и ощущение контроля.