Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарNeurohive→ оригинал

Claude Code ускорил чтение файлов в Linux до 23 раз, но пропустил баг, который нашли люди

Торвальдс поручил Claude Code ускорить ядро Linux: когда десятки потоков читают один файл, они стоят в очереди за общим счётчиком. Патчи дали до 23 раз на 64 потоках, но в синтетическом тесте; с защитами процессора выходит около 4,5 раза. Через четыре часа Кирилл Шутемов нашёл гонку — сбой, когда один поток читает страницу, пока другой её подменяет, — которую тесты модели не заметили. Поэтому код ядра от ИИ без ревью эксперта пускать нельзя.

AI-обработка оригинала Neurohive; редакция Hamidun News
Claude Code ускорил чтение файлов в Linux до 23 раз, но пропустил баг, который нашли люди
Источник: Neurohive. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникNeurohive ↗
Главный редактор
Без защит процессора на Threadripper13,3 → 304 млн чтений в секунду
Защиты включены, ext4около 4,5 раза; XFS — меньше чем вдвое
В Linux 7.4 патчи не попадутближайший шанс — версия 7.5 в 2027 году

Представьте кассу в магазине, у которой одна общая тетрадь для всех: каждый покупатель сначала записывает в неё «я начал», а потом «я закончил». Касс много, а тетрадь одна, поэтому люди больше ждут очереди к тетради, чем обслуживаются. Примерно так тормозило чтение одного файла в ядре Linux, когда за него берутся десятки потоков. Линус Торвальдс поручил Claude Code задачу, которую разработчики ядра два с half года не могли закрыть, и получил ускорение до 23 раз. Но это максимум для специально подобранного синтетического теста на процессоре с 64 потоками, а в коде нашёлся баг гонки: редкий сбой, когда один поток читает страницу памяти в тот момент, когда другой её подменяет. Тесты, которые написала сама модель, его не заметили.

В чём была проблема

Когда файл уже лежит в оперативной памяти (в страничном кеше), ядру не нужно обращаться к диску. Но перед копированием данных оно увеличивает счётчик ссылок на блок памяти, а после копирования уменьшает. Так ядро помечает, что память ещё используется и освобождать её рано. Это и есть та самая общая тетрадь.

Пока файл читает один поток, это почти ничего не стоит. Если же его читают десятки потоков, ядра процессора постоянно передают друг другу этот счётчик и больше ждут, чем работают. В замере Торвальдса с восемью потоками на строку кеша с этим счётчиком приходилось 99,92% событий, когда одному ядру нужны данные, только что изменённые другим.

Просто убрать счётчик нельзя: страницу могут освободить и отдать под другие данные прямо посреди копирования. Прежние попытки копировали данные без счётчика и проверяли корректность потом, но такая проверка пропускала часть гонок. Например, страницу освободили, а на её место в кеше встала новая.

Что придумали Торвальдс и Claude Code

Торвальдс зашёл с другой стороны. Он решил убрать причину гонки, а не ловить её последствия: страницы теперь освобождаются с задержкой, и механизм RCU дожидается завершения всех уже начатых операций чтения. Раз память нельзя отдать под другие данные во время копирования, счётчик в быстром пути чтения не нужен.

Реализацию он поручил Claude Code. Модель подготовила код, тесты, разбор открытых проблем и черновик сопроводительного текста. Торвальдс выбирал подход, направлял работу и сам делал замеры. Ветку он назвал noref-filemap-read-with-llm и прямо написал, что работа сделана с ИИ-ассистентом под его руководством.

Цифры такие. На рабочей станции с AMD Ryzen Threadripper 3970X и 64 потоками чтение выросло с 13,3 до 304 млн операций в секунду, а стоимость одной операции упала с примерно 20 000 тактов процессора до 735. На ноутбуке с Core i7-8565U и восемью потоками выигрыш был около 3 раз.

Цифру 23× нужно читать с оговоркой. В тесте все потоки снова и снова читали один маленький участок одной страницы. Для старого кода это худший случай, и в реальных нагрузках он почти не встречается. Когда Кирилл Шутемов прогнал серию с защитами процессора, включёнными по умолчанию, чтение с ext4 ускорилось примерно в 4,5 раза, с XFS менее чем вдвое, а в одном потоке разницы не было. У ускорения есть и цена: если страницы буфера, куда копируют данные, ещё нет в памяти, быстрая попытка даёт лишнее исключение процессора, и такая операция обходится дороже, чем без патчей.

Баг, который нашли люди

Через четыре часа после публикации Шутемов, занимающийся подсистемой памяти, нашёл состояние гонки в функции filemap_read_rcu_batch(). Один поток выбирает страницу для чтения, а другой в этот момент заменяет её в кеше и дописывает файл. Первый поток видит новый размер файла, но читает старую страницу, включая участок, куда данные файла не записывались.

Отложенное освобождение здесь не помогает. Оно гарантирует, что страницу не отдадут под чужие данные, но не то, что она всё ещё соответствует файлу. Тесты сценарий не ловили: в замерах потоки читали неизменный файл, а баг проявляется только при совпадении вытеснения страницы и дозаписи.

Если бы патчи вошли в ядро как есть, программа, читающая дописываемый файл (журнал или базу данных), в редких случаях получала бы данные, которых в файле никогда не было, и не узнала бы об этом. Такие сбои почти не воспроизводятся.

Шутемов сразу предложил исправление с повторной проверкой, а Торвальдс ответил, что можно читать размер раньше и обойтись одной проверкой. Потом он передал серию Шутемову: у него начинался отпуск. Шутемов переработал её за пять дней, и 19 октября вышла версия из 18 патчей, семь из них написал Торвальдс. Рецензенты также спорили о флаге PG_rcu_free, и в итоге механизм оставили только для 64-битных систем.

Что это значит

Серия пока идёт как RFC (предложение для обсуждения). В Linux 7.4 она не попадёт, так как в окно слияния берут только код, заранее принятый мейнтейнерами. Ближайшая возможность — Linux 7.5 в 2027 году.

Для разработчиков вывод простой. Агент реально сдвинул задачу, на которой люди буксовали годами. Но роли разделились: человек выбрал подход и сделал замеры, модель написала код и тесты, а баг нашёл рецензент, который знал, на чём ломались прежние решения. Тесты, написанные самой моделью, проверяют только то, что она сама себе представила. Поэтому для рискованного кода нужны независимые ревьюеры и тесты на конкурентные сценарии, а не только на счастливый путь.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: в чём была проблема?

Когда файл уже лежит в оперативной памяти (в страничном кеше), ядру не нужно обращаться к диску. Но перед копированием данных оно увеличивает счётчик ссылок на блок памяти, а после копирования уменьшает. Так ядро помечает, что память ещё используется и освобождать её рано. Это и есть та самая общая тетрадь. Пока файл читает один поток, это почти ничего не стоит. Если же его читают десятки потоков, ядра процессора постоянно передают друг другу этот счётчик и больше ждут, чем работают.

Что известно по теме: что придумали Торвальдс и Claude Code?

Торвальдс зашёл с другой стороны. Он решил убрать причину гонки, а не ловить её последствия: страницы теперь освобождаются с задержкой, и механизм RCU дожидается завершения всех уже начатых операций чтения. Раз память нельзя отдать под другие данные во время копирования, счётчик в быстром пути чтения не нужен. Реализацию он поручил Claude Code. Модель подготовила код, тесты, разбор открытых проблем и черновик сопроводительного текста. Торвальдс выбирал подход, направлял работу и сам делал замеры.

Что известно по теме: баг, который нашли люди?

Через четыре часа после публикации Шутемов, занимающийся подсистемой памяти, нашёл состояние гонки в функции filemap_read_rcu_batch(). Один поток выбирает страницу для чтения, а другой в этот момент заменяет её в кеше и дописывает файл. Первый поток видит новый размер файла, но читает старую страницу, включая участок, куда данные файла не записывались. Отложенное освобождение здесь не помогает. Оно гарантирует, что страницу не отдадут под чужие данные, но не то, что она всё ещё соответствует файлу.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…