Связка Opus и DeepSeek Flash решила 67% задач против 81% у одного Opus и стоила дороже

Популярная идея выглядит логично: дорогая модель вроде Opus планирует работу и проверяет результат, а код пишет дешёвая — DeepSeek или Qwen. Качество должно остаться почти прежним, а счёт упасть. Ибрагим Бадертдинов проверил это на практике и получил обратный результат: связка Opus с DeepSeek Flash решила 67% задач при $1,29 за задачу, тогда как один Opus дал 81% при $1,20.

Как собирали тестовый набор

Раньше автор строил наборы из собственных рабочих сессий, но задачи там оказались слишком лёгкими: на них любая связка выглядит прилично. В этот раз он взял 12 сложных задач из открытых бенчмарков, наиболее похожих на его повседневную работу, в основном уровня hard ML и SWE (разработка ПО). Сделал несколько прогонов и вручную поправил сами задачи.

Это отдельная находка: больше половины задач в бенчмарках, по словам автора, нечестные. Тесты либо заваливали рабочее решение, либо пропускали слабое. Если сравнивать модели без такой чистки, часть разницы в рейтингах окажется шумом самих проверок. Задачи опубликованы в Harbor, так что любой может прогнать их на своих сетапах. Полная таблица результатов и обсуждения вынесены в тред в X и пост на Reddit.

Всего прогнали около семи конфигураций, включая схему из статьи DeepSeek про super agent и разные комбинации моделей.

Почему дешёвый воркер не сэкономил

Главная причина — кеш промпта. Деньги в основном уходят именно на него. Пока дешёвая модель пишет код, кеш у Opus протухает. Когда управление возвращается к Opus, контекст приходится собирать заново, и это обходится дороже, чем вся работа дешёвой модели. Экономия на токенах генерации просто съедается пересборкой кеша. Для разработчиков агентных пайплайнов вывод практичный: считать нужно не цену токена воркера, а всю цепочку, включая простои контекста дорогой модели.

Заработал другой приём по мотивам статьи DeepSeek. Opus не запрещали писать код, а просто сообщили, что его токены в 20 раз дороже. Результат тот же, а цена почти вдвое ниже — $0,71 за задачу. То есть модель сама решает, какой объём делегировать и что написать самой, и лучше распределяет усилия, чем жёсткая схема ролей.

Дешёвые модели в одиночку оказались сильнее связок

Самый неожиданный итог: недорогие модели без всякой оркестрации обогнали все связки. Terra решила 78% задач, Sol — 75%, оба по $0,17 за задачу. Это в семь раз дешевле одного Opus при результате в пределах нескольких процентных пунктов. В посте не раскрыто, что именно стоит за названиями Terra и Sol, поэтому сравнивать их с конкретными публичными моделями нельзя.

Отдельно проверили роль ревьюера. В пайплайне ревью проверяющий смотрит диффы и, если находит проблему, просит воркера переделать. Sol в этой роли показал себя отлично, а Opus — так себе. Дорогая модель не гарантирует лучшего контроля: ревью — отдельный навык, который не обязан совпадать с общим уровнем модели.

Ограничения и практический вывод

Выборка маленькая: 12 задач, поэтому разница в несколько процентных пунктов может быть статистическим шумом. Задачи подобраны под профиль одного инженера — hard ML и SWE, и на веб-разработке или рутинном рефакторинге картина может отличаться. В посте приведены результаты только для связки с DeepSeek Flash; цифры для Qwen в роли воркера не названы.

Тем не менее ориентиры ясны. Прежде чем строить схему «дорогой мозг — дешёвые руки», стоит померить полную стоимость с учётом кеша. Если нужна экономия, попробуйте сообщить дорогой модели цену её токенов и посмотреть на самостоятельные прогоны дешёвых моделей: на этом наборе они оказались лучшим соотношением цены и качества. А для ревью имеет смысл проверить не только флагман, но и более скромных кандидатов.