Git-аудит двух репозиториев: трейлер ИИ нашёлся в 1 из 39 коммитов с заметками агента

Издатели и грантодатели всё чаще требуют от авторов раскрывать, как ИИ участвовал в исследовании. В вычислительных работах за ответом идут в репозиторий. Группа Koutian Wu, Zesen Huang и Hejia Geng проверила, что репозиторий может ответить на самом деле. В работе «What Git Does Not Record» они разобрали два репозитория одного автора из одной области, на 466 и 103 коммита. Самая показательная цифра: в Project B 39 коммитов правят файл, где агент ведёт рабочие заметки, а трейлер Co-Authored-By стоит лишь в одном из них, то есть в 2,6%.

Два следа, которые читаются по-разному

Каждый репозиторий хранит свой тип «агентского остатка». В первом лежат постоянные файлы правил, то есть предписывающий след. Во втором лежит блокнот работающего агента, то есть повествовательный след.

Правило фиксирует вывод и стирает историю, из которой он вырос. Поэтому 85,6% строк, когда-либо попавших в предписывающий след, видны в текущей ревизии. Блокнот записывает эпизоды, и в текущей версии остаётся только 21,8% его строк. Аудитору, который смотрит на последний снимок, правила кажутся полными, а блокнот почти пустым.

По числу ревизий разрыв намного меньше. В предписывающем следе 15 из 41 ревизии не оставляют ни одной видимой строки, в повествовательном таких 18 из 41. Выходит, что «видимая доля строк» и «видимая доля правок» — разные метрики, и выбор между ними меняет вывод.

Трейлер, на который опираются аудиторы

Автоматический аудит обычно ищет в истории поле Co-Authored-By. Авторы показывают, что поле неполное и нестабильное:

• В Project A есть три разных ключа ИИ-трейлеров, и Co-Authored-By — только один из них. Он покрывает 66 из 121 коммита, в которых есть хоть какой-то ИИ-маркер.
• В Project B чувствительность трейлера низкая. Относительно явного внутрирепозиторного прокси (коммиты, меняющие файл с заметками агента) трейлер есть у 1 из 39 коммитов, то есть у 2,6%.
• Долю коммитов с трейлером в Project A нельзя считать стабильной во времени. Она вырастает с 2,7% до 17,7% на границе, которую авторы заранее не задавали.

Из этого авторы делают осторожный вывод: каналы внутри репозитория расходятся друг с другом, и ни одну из долей нельзя читать как долю участия ИИ. Причину расхождения они не выделяют и прямо об этом говорят. Это может быть смена привычек автора, смена инструмента или смена настроек агента.

Что отвечают следы и где они ошибаются уверенно

Между полями коммитов и файлов артефактов авторы строят таблицу: какие утверждения о происхождении работы след подтверждает, какие не может подтвердить, а на какие отвечает уверенно и неверно. Последняя категория самая опасная. Чистый файл правил выглядит как свидетельство дисциплины, хотя он лишь хранит итог и скрывает путь. Отсутствие трейлера выглядит как отсутствие ИИ, хотя заметки агента в том же коммите говорят обратное.

На этой основе построен аудируемый журнал доказательств (evidence ledger). Каждое утверждение в нём привязано к конкретному источнику и к ограничениям этого источника. Из анализа авторы выводят требования к системам, которые должны фиксировать происхождение исследования в момент работы, а не восстанавливать его по истории постфактум.

Вместе с работой выложен инструмент git-provenance-auditor на GitHub (репозиторий ktwu01/git-provenance-auditor, пока одна звезда). Препринт опубликован как arXiv 2610.28655.

Что делать командам уже сейчас

Выборка маленькая: два репозитория одного автора. Универсальных процентов из неё не выйдет, но практические выводы ясны.

• Не полагайтесь на один трейлер. Если политика журнала требует раскрытия, сверяйте Co-Authored-By с другими ключами и с файлами заметок агента.
• Решите заранее, что хранить. Блокнот агента, который перезаписывается, теряет почти четыре пятых своих строк в текущей версии. Если эпизоды важны, их нужно коммитить как отдельные артефакты.
• Не публикуйте «долю участия ИИ» по доле коммитов с трейлером. Скачок с 2,7% до 17,7% в одном репозитории показывает, насколько метрика зависит от привычек и настроек.
• Пишите провенанс в момент работы. Записывать, кто что сделал, надо через инструмент агента или хук коммита, а не реконструировать по истории.

Для издателей и грантодателей вывод жёсткий: форма раскрытия, которая просит приложить ссылку на репозиторий, получит данные, которые выглядят убедительно и могут быть неверны.