Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарLatent Space (swyx)→ оригинал

Проверка кода от ИИ математикой дешевеет: Opus 5.5 тратит на 40% меньше токенов

Тесты и ревью не гарантируют, что в коде от ИИ не осталось скрытой ошибки. Формальная верификация даёт такую гарантию: ИИ пишет математическое доказательство, а программа Lean проверяет каждый шаг. Раньше это было слишком дорого, но по данным Anthropic и Theorem, Opus 5.5 решил 50% из 36 небольших задач проверки, потратив на 40% меньше токенов, чем Opus 5. Разработчикам стоит учиться точно формулировать требования к коду.

AI-обработка оригинала Latent Space (swyx); редакция Hamidun News
Проверка кода от ИИ математикой дешевеет: Opus 5.5 тратит на 40% меньше токенов
Источник: Latent Space (swyx). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLatent Space (swyx) ↗
Главный редактор
Ключевой факт #1Стартап &Truth проверяет C-код на ошибки памяти; первый продукт — карта кода &Atlas
Ключевой факт #2Решатель cvc5 Кларка Баррета из &Truth вызывается миллиарды раз в день в Amazon
Ключевой факт #3Тест Theorem и Anthropic — 36 небольших задач, а не промышленные кодовые базы

Код всё чаще пишут ИИ-агенты, а вместе с ним растёт «слоп» — так в 2026 году называют сырую, некачественную выдачу языковой модели. Представьте: агент написал функцию копирования данных, тесты зелёные, ревью пройдено. Но нет уверенности, что не осталось редкого случая, когда функция выходит за границы массива и открывает дыру в безопасности. Тесты такую уверенность не дают. Формальная верификация, то есть доказательство корректности программы средствами математики, даёт. Раньше этим занимались редкие специалисты, а теперь ИИ и язык Lean автоматизируют большую часть работы. Если вы доверяете агентам всё больше кода, эта тема напрямую касается вашей работы.

Чем доказательство отличается от тестов

Кларк Баррет — сооснователь и согендиректор стартапа &Truth (читается «энд трус»), профессор Стэнфорда и один из создателей cvc5. Это «решатель» задач выполнимости с теориями (SMT): программа, которая автоматически выясняет, может ли нарушиться заданное условие. По словам Баррета, такие инструменты широко используют в Amazon. Например, cvc5 помогает анализировать спецификации и генерировать тесты в Kiro, агентной среде разработки Amazon. «Приятно видеть, как мои инструменты прошли путь от хорошей идеи в лаборатории до миллиардов вызовов в день в продакшн-пайплайнах Amazon», — сказал он.

Когда компании говорят, что агент «верифицирует» свою работу, обычно это значит: он запускает тесты, критикует собственный результат или просит другую модель оценить его. Главная разница, по Баррету, в том, как понять, что работа закончена. Тесты, патчи и сканеры находят массу проблем, но уверенности, что не остался ещё один баг, который инструмент просто не видит, у вас нет.

Доказательство работает иначе. Вы формулируете точное требование, например «функция никогда не обращается за пределы массива», и получаете гарантию, что оно выполняется при любых входных данных, а не только при проверенных. Проверяет доказательство Lean — открытый язык программирования и система для проверки доказательств. «Lean просто проверяет, что вы не ошиблись, — объяснил Баррет. — Это очень сложный корректор для математики». Поэтому неважно, что доказательство сочинил ИИ: если Lean его принял, ему можно верить.

Кто строит такие инструменты

  • &Truth. Новичок, который собирает «машину верификации» на основе Lean. Цель — читать код на любом языке, доказывать, что он соответствует точно сформулированным требованиям, и позволять людям доверять ему без чтения каждой строки. Первый продукт — &Atlas, «карта мирового open-source кода», начиная с языка C. Главный сценарий, по Баррету, — пройти по всему C-коду, открытому и закрытому, проверить безопасность работы с памятью и указать, что именно чинить.
  • Harmonic. Её Aristotle — автоматический доказатель теорем. Компания пишет, что ИИ создаёт доказательства, а Lean проверяет каждый шаг, поэтому результат не зависит от того, прав ли ИИ.
  • Axiom Math. Разрабатывает AxiomProver, ИИ-систему, которая пишет доказательства на Lean, и набор инструментов AXLE для их изучения, проверки и преобразования. Верификацию компания использует и при обучении: попытки доказательств дают моделям обратную связь о правильности. Глава Axiom Карина Хон в июньском интервью Latent Space сказала, что для компании это не только защита от галлюцинаций, но и путь к сверхинтеллекту.
  • Theorem. Делает ставку на безопасность: «верификация — единственная защита, которая работает, пока противники масштабируются». Вместе с Anthropic компания опубликовала текст о том, что LLM делают формальную проверку ПО реальной в гораздо большем масштабе. Схема Anthropic в этом тексте построена не на Lean, а на другой системе доказательств — Rocq.

Для контекста: по данным Vals, на этой неделе GPT-6.2 Astra выдала, вероятно, первое доказательство Smoktunowicz's Gap Theorem на Lean. Vals также пишет, что Anthropic формализовала великую теорему Ферма — проект на 13 миллионов строк. Наконец, по сообщениям, математик Anthropic Левент Альпёге заявил, что с помощью Claude доказал 167-летнюю гипотезу Римана, и выложил доказательство на Lean. Это заявления, а не подтверждённые сообществом результаты, но они показывают, на что способны модели.

Сколько это стоит и что менять в работе

Главное ограничение — цена. Формальная верификация требует много токенов. Но в совместном тексте Theorem и Anthropic есть обнадёживающая цифра: на 36 небольших задачах проверки Opus 5.5 достиг 50% решённых, потратив примерно на 40% меньше токенов, чем Opus 5. Авторы ждут, что тренд сохранится, когда моделей научат на длинных задачах верификации. Оговорка важна: речь о маленьких задачах, а не о больших промышленных кодовых базах.

&Truth предлагает заменить «вайб-кодинг» на «вери-кодинг», где проверка встроена в процесс. Разработчик по-прежнему говорит агенту, что построить, но сначала вместе с ним уточняет спецификацию. Дальше агент работает с инструментом верификации, и, по словам Баррета, код должен заработать с первого раза. Больше времени человека уйдёт на написание и ревью спецификаций, меньше — на написание и ревью кода.

Практический вывод: если агенты пишут за вас всё больше, ваша работа — точно сказать, что значит «правильно». Тренироваться формулировать требования стоит уже сейчас. А за &Atlas, Aristotle и AxiomProver полезно следить: судя по заявлениям компаний, первой областью станет безопасность критичного кода на C.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: чем доказательство отличается от тестов?

Кларк Баррет — сооснователь и согендиректор стартапа &Truth (читается «энд трус»), профессор Стэнфорда и один из создателей cvc5. Это «решатель» задач выполнимости с теориями (SMT): программа, которая автоматически выясняет, может ли нарушиться заданное условие. По словам Баррета, такие инструменты широко используют в Amazon. Например, cvc5 помогает анализировать спецификации и генерировать тесты в Kiro, агентной среде разработки Amazon.

Что известно по теме: кто строит такие инструменты?

&Truth. Новичок, который собирает «машину верификации» на основе Lean. Цель — читать код на любом языке, доказывать, что он соответствует точно сформулированным требованиям, и позволять людям доверять ему без чтения каждой строки. Первый продукт — &Atlas, «карта мирового open-source кода», начиная с языка C. Главный сценарий, по Баррету, — пройти по всему C-коду, открытому и закрытому, проверить безопасность работы с памятью и указать, что именно чинить. Harmonic. Её Aristotle — автоматический доказатель теорем.

Что известно по теме: сколько это стоит и что менять в работе?

Главное ограничение — цена. Формальная верификация требует много токенов. Но в совместном тексте Theorem и Anthropic есть обнадёживающая цифра: на 36 небольших задачах проверки Opus 5.5 достиг 50% решённых, потратив примерно на 40% меньше токенов, чем Opus 5. Авторы ждут, что тренд сохранится, когда моделей научат на длинных задачах верификации. Оговорка важна: речь о маленьких задачах, а не о больших промышленных кодовых базах.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…