كشف PAC1 عن نقطة ضعف في نماذج reasoning: وكيل hardcoded اجتاز benchmark بكلفة أقل

Закрытый бенчмарк PAC1, рассчитанный на AI-агентов, неожиданно показал слабое место самих reasoning-моделей. Вместо «умного» решения участник хакатона собрал Zero-Cost Agent — набор жёстких алгоритмов, который обошёл типичные ошибки LLM и прошёл задания дешевле.

Где сломался агент PAC1 проверяет не умение красиво рассуждать, а

способность действовать внутри ограниченной среды. Агенту нужно читать логи, искать нужные файлы, отправлять письма и при этом не попадаться на ловушки вроде Indirect Prompt Injections, когда вредная инструкция прячется внутри данных. По описанию автора, именно в такой постановке reasoning-модели начали сыпаться: они галлюцинировали, теряли контекст между действиями, ломали структуру JSON и вместо чистого результата вставляли собственные «размышления». В замкнутой песочнице это критично, потому что один неверный ключ или лишняя строка сразу ломают следующий шаг и быстро раздувают счёт за API.

Почему победил хардкод

После нескольких неудачных прогонов автор отказался от идеи «дожать» модель промптами и сделал ставку на детерминированный сценарий. Так появился Zero-Cost Agent — по сути алгоритмический исполнитель, который не имитирует мышление, а заранее знает, какие операции нужно проверить, в каком порядке двигаться по файловой системе и как реагировать на известные классы ловушек. Вместо универсального интеллекта решение использует набор правил, которые можно заранее тестировать и жёстко контролировать.

жёсткий формат входа и выхода без свободных объяснений; заранее описанные маршруты поиска файлов и чтения логов; отдельная обработка опасных инструкций, спрятанных в содержимом файлов; предсказуемые шаги для отправки писем и других действий; * отказ от повторных циклов, которые у LLM быстро сжигают бюджет. Такой подход выглядит грубо, но в рамках PAC1 именно он даёт преимущество. Алгоритм не спорит с собой, не переписывает ответ заново и не тратит токены на объяснение очевидных шагов.

Его стоимость почти не зависит от числа «размышлений», потому что никаких размышлений в цепочке нет. В хакатонной задаче это превратило нестабильную агентную систему в инструмент, поведение которого можно прогнозировать и измерять.

Что показал эксперимент

История с PAC1 бьёт по популярному тезису, что достаточно взять сильную reasoning-модель и она сама справится с агентной автоматизацией. На практике среда с файловой системой, формальными ответами и встроенными атаками оказывается ближе к инженерной задаче, чем к разговору с ассистентом. Здесь важны валидация, контроль состояния, ограничение переходов и явная обработка ошибок. Если система стабильно выдаёт правильный JSON и не отвлекается на ложные инструкции, она выигрывает у более «умной», но нестабильной модели.

«Если ИИ не справляется, мы заменим его на старый добрый хардкод».

Фраза автора про «старый добрый хардкод» звучит провокационно, но смысл у неё вполне прагматичный. Речь не о бесполезности нейросетей, а о границе их применения без жёсткой обвязки. Если задача типовая, правила известны, а цена ошибки высока, набор детерминированных эвристик иногда даёт лучший результат, чем модель с большим контекстом, красивыми объяснениями и длинной цепочкой повторных попыток. Для корпоративных задач с формальными интерфейсами это особенно заметно: система должна быть скучной, проверяемой и предсказуемой, а не впечатляюще разговорчивой.

Что это значит

Для разработчиков AI-агентов кейс PAC1 — напоминание, что надёжность системы часто решает больше, чем мощность модели. В реальных продуктах всё чаще будет работать гибридный подход: LLM там, где нужна вариативность и работа с неопределённостью, а жёсткая логика там, где важны формат, безопасность, цена и повторяемый результат. Именно такие связки, а не чистая ставка на одну модель, скорее всего станут нормой для production-агентов.