Проверка кода от ИИ математикой дешевеет: Opus 5.5 тратит на 40% меньше токенов
Тесты и ревью не гарантируют, что в коде от ИИ не осталось скрытой ошибки. Формальная верификация даёт такую гарантию: ИИ пишет математическое доказательство, а программа Lean проверяет каждый шаг. Раньше это было слишком дорого, но по данным Anthropic и Theorem, Opus 5.5 решил 50% из 36 небольших задач проверки, потратив на 40% меньше токенов, чем Opus 5. Разработчикам стоит учиться точно формулировать требования к коду.
AI-обработка оригинала Latent Space (swyx); редакция Hamidun News
Код всё чаще пишут ИИ-агенты, а вместе с ним растёт «слоп» — так в 2026 году называют сырую, некачественную выдачу языковой модели. Представьте: агент написал функцию копирования данных, тесты зелёные, ревью пройдено. Но нет уверенности, что не осталось редкого случая, когда функция выходит за границы массива и открывает дыру в безопасности. Тесты такую уверенность не дают. Формальная верификация, то есть доказательство корректности программы средствами математики, даёт. Раньше этим занимались редкие специалисты, а теперь ИИ и язык Lean автоматизируют большую часть работы. Если вы доверяете агентам всё больше кода, эта тема напрямую касается вашей работы.
Чем доказательство отличается от тестов
Кларк Баррет — сооснователь и согендиректор стартапа &Truth (читается «энд трус»), профессор Стэнфорда и один из создателей cvc5. Это «решатель» задач выполнимости с теориями (SMT): программа, которая автоматически выясняет, может ли нарушиться заданное условие. По словам Баррета, такие инструменты широко используют в Amazon. Например, cvc5 помогает анализировать спецификации и генерировать тесты в Kiro, агентной среде разработки Amazon. «Приятно видеть, как мои инструменты прошли путь от хорошей идеи в лаборатории до миллиардов вызовов в день в продакшн-пайплайнах Amazon», — сказал он.
Когда компании говорят, что агент «верифицирует» свою работу, обычно это значит: он запускает тесты, критикует собственный результат или просит другую модель оценить его. Главная разница, по Баррету, в том, как понять, что работа закончена. Тесты, патчи и сканеры находят массу проблем, но уверенности, что не остался ещё один баг, который инструмент просто не видит, у вас нет.
Доказательство работает иначе. Вы формулируете точное требование, например «функция никогда не обращается за пределы массива», и получаете гарантию, что оно выполняется при любых входных данных, а не только при проверенных. Проверяет доказательство Lean — открытый язык программирования и система для проверки доказательств. «Lean просто проверяет, что вы не ошиблись, — объяснил Баррет. — Это очень сложный корректор для математики». Поэтому неважно, что доказательство сочинил ИИ: если Lean его принял, ему можно верить.
Кто строит такие инструменты
- &Truth. Новичок, который собирает «машину верификации» на основе Lean. Цель — читать код на любом языке, доказывать, что он соответствует точно сформулированным требованиям, и позволять людям доверять ему без чтения каждой строки. Первый продукт — &Atlas, «карта мирового open-source кода», начиная с языка C. Главный сценарий, по Баррету, — пройти по всему C-коду, открытому и закрытому, проверить безопасность работы с памятью и указать, что именно чинить.
- Harmonic. Её Aristotle — автоматический доказатель теорем. Компания пишет, что ИИ создаёт доказательства, а Lean проверяет каждый шаг, поэтому результат не зависит от того, прав ли ИИ.
- Axiom Math. Разрабатывает AxiomProver, ИИ-систему, которая пишет доказательства на Lean, и набор инструментов AXLE для их изучения, проверки и преобразования. Верификацию компания использует и при обучении: попытки доказательств дают моделям обратную связь о правильности. Глава Axiom Карина Хон в июньском интервью Latent Space сказала, что для компании это не только защита от галлюцинаций, но и путь к сверхинтеллекту.
- Theorem. Делает ставку на безопасность: «верификация — единственная защита, которая работает, пока противники масштабируются». Вместе с Anthropic компания опубликовала текст о том, что LLM делают формальную проверку ПО реальной в гораздо большем масштабе. Схема Anthropic в этом тексте построена не на Lean, а на другой системе доказательств — Rocq.
Для контекста: по данным Vals, на этой неделе GPT-6.2 Astra выдала, вероятно, первое доказательство Smoktunowicz's Gap Theorem на Lean. Vals также пишет, что Anthropic формализовала великую теорему Ферма — проект на 13 миллионов строк. Наконец, по сообщениям, математик Anthropic Левент Альпёге заявил, что с помощью Claude доказал 167-летнюю гипотезу Римана, и выложил доказательство на Lean. Это заявления, а не подтверждённые сообществом результаты, но они показывают, на что способны модели.
Сколько это стоит и что менять в работе
Главное ограничение — цена. Формальная верификация требует много токенов. Но в совместном тексте Theorem и Anthropic есть обнадёживающая цифра: на 36 небольших задачах проверки Opus 5.5 достиг 50% решённых, потратив примерно на 40% меньше токенов, чем Opus 5. Авторы ждут, что тренд сохранится, когда моделей научат на длинных задачах верификации. Оговорка важна: речь о маленьких задачах, а не о больших промышленных кодовых базах.
&Truth предлагает заменить «вайб-кодинг» на «вери-кодинг», где проверка встроена в процесс. Разработчик по-прежнему говорит агенту, что построить, но сначала вместе с ним уточняет спецификацию. Дальше агент работает с инструментом верификации, и, по словам Баррета, код должен заработать с первого раза. Больше времени человека уйдёт на написание и ревью спецификаций, меньше — на написание и ревью кода.
Практический вывод: если агенты пишут за вас всё больше, ваша работа — точно сказать, что значит «правильно». Тренироваться формулировать требования стоит уже сейчас. А за &Atlas, Aristotle и AxiomProver полезно следить: судя по заявлениям компаний, первой областью станет безопасность критичного кода на C.
- 21 нояб. 2026 г.Anthropic с Claude заявила о доказательстве гипотезы Римана, Стэнфорд ответил без ИИ
- 21 нояб. 2026 г.Четыре правила Карпати для кодинг-агента в одном файле набрали 232 000 звёзд на GitHub
- 21 нояб. 2026 г.Отель предупредил о взломе через 9 дней, а автор поручил Claude и Codex ловить уязвимости
- 21 нояб. 2026 г.Amazon дала бесплатного ИИ-агента AWS Quick с Claude, платный Plus — $25 в месяц
Вопросы и ответы по материалу
Что известно по теме: чем доказательство отличается от тестов?
Кларк Баррет — сооснователь и согендиректор стартапа &Truth (читается «энд трус»), профессор Стэнфорда и один из создателей cvc5. Это «решатель» задач выполнимости с теориями (SMT): программа, которая автоматически выясняет, может ли нарушиться заданное условие. По словам Баррета, такие инструменты широко используют в Amazon. Например, cvc5 помогает анализировать спецификации и генерировать тесты в Kiro, агентной среде разработки Amazon.
Что известно по теме: кто строит такие инструменты?
&Truth. Новичок, который собирает «машину верификации» на основе Lean. Цель — читать код на любом языке, доказывать, что он соответствует точно сформулированным требованиям, и позволять людям доверять ему без чтения каждой строки. Первый продукт — &Atlas, «карта мирового open-source кода», начиная с языка C. Главный сценарий, по Баррету, — пройти по всему C-коду, открытому и закрытому, проверить безопасность работы с памятью и указать, что именно чинить. Harmonic. Её Aristotle — автоматический доказатель теорем.
Что известно по теме: сколько это стоит и что менять в работе?
Главное ограничение — цена. Формальная верификация требует много токенов. Но в совместном тексте Theorem и Anthropic есть обнадёживающая цифра: на 36 небольших задачах проверки Opus 5.5 достиг 50% решённых, потратив примерно на 40% меньше токенов, чем Opus 5. Авторы ждут, что тренд сохранится, когда моделей научат на длинных задачах верификации. Оговорка важна: речь о маленьких задачах, а не о больших промышленных кодовых базах.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.