Anthropic трижды переписывала тестовое: Claude Opus 4.5 догнал лучших инженеров

Тестовое задание для инженеров по производительности Anthropic использовали с начала 2024 года. Его прошли больше 1000 кандидатов, десятки из них работают в компании, включая тех, кто запускал кластер Trainium и выпускал все модели начиная с Claude 3 Opus. Теперь каждая новая версия Claude ломает этот тест. Claude Opus 4 при том же лимите времени обогнал большинство людей. Claude Opus 4.5 сравнялся с лучшими кандидатами, и по результату за два часа их стало невозможно отличить от модели. Автор теста Тристан Юм, руководитель в команде оптимизации производительности, описал это 21 января 2026 года.

Как был устроен тест

В ноябре 2023 года Anthropic готовилась к запуску Claude Opus 3. Кластеры TPU и GPU уже были, большой Trainium ожидался, а инженеров по производительности не хватало. Юм написал в Twitter, и в почту пришло больше кандидатов, чем стандартный пайплайн мог разобрать. На проектирование теста у него ушло две недели.

Он собрал на Python симулятор вымышленного ускорителя, похожего на TPU. Кандидаты оптимизируют код на нём, глядя на горячо перезагружаемую трассу Perfetto с каждой инструкцией. В машине есть вручную управляемая scratchpad-память, VLIW (несколько исполнительных блоков в каждом такте), SIMD и многоядерность. Задача намеренно не про глубокое обучение: параллельный обход дерева, вдохновлённый безветвленным SIMD-инференсом деревьев решений. Старт с полностью последовательной реализации, затем разминка с многоядерностью и выбор между SIMD и упаковкой VLIW. Первая версия ещё содержала баг, который нужно было отладить, то есть построить для этого инструмент.

Первый же результат подтвердил идею. Кандидат из твиттерской волны набрал заметно больше остальных, пришёл в команду и почти сразу нашёл обходной путь для блокировавшего релиз бага компилятора: индексная математика тензоров переполняла 32 бита.

Как Claude ломал тест

К маю 2025 года более половины кандидатов выиграли бы, просто отдав задачу Claude 3.7 Sonnet через Claude Code. Предрелизный Opus 4 выдал решение лучше почти всех людей в рамках 4 часов. Юм использовал модель, чтобы найти место, где она начинает буксовать, и сделал его стартовой точкой второй версии. Он написал более чистый стартовый код, добавил новые возможности машины, убрал многоядерность, которую Claude уже решал, и сократил лимит с 4 часов до 2, потому что согласование слотов растягивало найм на недели.

С Opus 4.5 это не сработало. Модель закрыла основные узкие места, реализовала типовые микрооптимизации и прошла проходной порог меньше чем за час. Затем остановилась, решив, что упёрлась в предел пропускной способности памяти. К тому же выводу приходит большинство людей. Но есть приём, использующий структуру задачи. Когда Юм назвал достижимое число тактов, Claude подумал и нашёл этот приём. К отметке 2 часа его результат равнялся лучшему человеческому, а тот человек сам активно пользовался Claude 4. Во внутренней обвязке с test-time compute модель продолжала улучшать результат с ростом времени.

Две попытки спасти формат

Запрет ИИ Юм отверг: его не проконтролировать, и это уходит от реальной работы. Вариант «превзойти Claude Code в одиночку» тоже сомнителен. Claude работает быстро, а люди половину времени читают условие, так что выигрышной стратегией может стать наблюдение со стороны.

Первая новая задача выросла из реальной оптимизации Юма: транспонирование данных в 2D-регистрах TPU без конфликтов банков памяти. Opus 4.5 придумал, чего автор не предвидел: транспонировать не данные, а всё вычисление. Юм закрыл эту лазейку, модель не дотянула до оптимума, но с режимом ultrathink и увеличенным бюджетом размышлений всё равно решила задачу. Причина в том, что про конфликты банков написано много, и у Claude огромный багаж опыта.

Вторая попытка пошла в сторону странного. Нужна была задача вне распределения обучающих данных, и Юм обратился к играм Zachtronics, где используются необычные жёстко ограниченные наборы инструкций. Это конфликтует с целью, чтобы тест выглядел как настоящая работа, и автор признаёт этот компромисс.

Ключевые факты

• Тест используется с начала 2024 года, его прошли более 1000 кандидатов.
• Лимит времени сократили с 4 до 2 часов.
• Claude 3.7 Sonnet превосходил более 50% кандидатов.
• Opus 4 обошёл почти всех людей за 4 часа.
• Opus 4.5 прошёл порог меньше чем за час и сравнялся с лучшим человеком за 2 часа.
• При неограниченном времени лучшие люди всё ещё превосходят Claude.

Практические выводы для тех, кто нанимает

Задачи, построенные на известных приёмах вроде транспонирования или конфликтов банков, модель решает на накопленном опыте. Надёжнее проверять рассуждение на незнакомом материале, а не знание. Запрет ИИ при этом даёт мало: проще проектировать тест в расчёте на то, что кандидат работает с моделью. Сама работа тоже сместилась к сложной отладке, проектированию систем, анализу производительности и проверке корректности, а это трудно проверить за пару часов. Оригинальное задание Anthropic выложила как открытый челлендж: кто побьёт результат Opus 4.5, может написать в компанию.