Audit git de deux dépôts : le trailer IA n'apparaît que dans 1 commit sur 39 touchant les notes de l'agent

Éditeurs et financeurs exigent de plus en plus que les auteurs déclarent comment l'IA a participé à leurs recherches. Pour les travaux de calcul, la réponse se cherche dans le dépôt de code. Koutian Wu, Zesen Huang et Hejia Geng ont testé ce qu'un dépôt peut réellement répondre. Dans leur article « What Git Does Not Record », ils analysent deux dépôts du même auteur, dans le même domaine, de 466 et 103 commits. Le chiffre le plus parlant : dans Project B, 39 commits modifient le fichier où l'agent tient ses notes de travail, mais le trailer Co-Authored-By n'apparaît que dans un seul d'entre eux, soit 2,6%.

Deux traces, deux lectures

Chaque dépôt conserve un type différent de « résidu agentique ». Le premier contient des fichiers de règles permanents : c'est une trace prescriptive. Le second contient le carnet d'un agent en activité : c'est une trace narrative.

Une règle fixe une conclusion et efface l'historique dont elle est issue. C'est pourquoi 85,6% des lignes ayant un jour figuré dans la trace prescriptive sont visibles dans la révision actuelle. Le carnet, lui, consigne des épisodes, et seules 21,8% de ses lignes subsistent dans la version courante. Pour un auditeur qui ne regarde que le dernier instantané, les règles semblent complètes et le carnet presque vide.

L'écart est nettement plus faible si l'on compte les révisions. Dans la trace prescriptive, 15 révisions sur 41 ne laissent aucune ligne visible ; dans la trace narrative, c'est le cas de 18 sur 41. La « part de lignes visibles » et la « part de modifications visibles » sont donc deux métriques distinctes, et le choix de l'une ou de l'autre change la conclusion.

Le trailer sur lequel s'appuient les auditeurs

L'audit automatique cherche généralement le champ Co-Authored-By dans l'historique. Les auteurs montrent que ce champ est incomplet et instable :

• Dans Project A, il existe trois clés distinctes de trailers IA, et Co-Authored-By n'en est qu'une. Il couvre 66 des 121 commits qui portent un marqueur IA, quel qu'il soit.
• Dans Project B, la sensibilité du trailer est faible. Par rapport à un proxy explicite interne au dépôt (les commits qui modifient le fichier de notes de l'agent), le trailer figure dans 1 commit sur 39, soit 2,6%.
• La part de commits avec trailer dans Project A ne peut pas être considérée comme stable dans le temps. Elle passe de 2,7% à 17,7% à un point de rupture que les auteurs n'avaient pas fixé à l'avance.

Les auteurs en tirent une conclusion prudente : les canaux internes au dépôt divergent entre eux, et aucune de ces proportions ne doit se lire comme une part de participation de l'IA. Ils n'isolent pas la cause de cette divergence et le disent explicitement. Il peut s'agir d'un changement d'habitudes de l'auteur, d'un changement d'outil ou d'un changement de configuration de l'agent.

Ce que les traces disent, et où elles se trompent avec aplomb

Entre les champs des commits et les fichiers d'artefacts, les auteurs dressent un tableau : quelles affirmations sur l'origine du travail la trace confirme, lesquelles elle ne peut pas confirmer, et à quelles questions elle répond avec assurance mais à tort. Cette dernière catégorie est la plus dangereuse. Un fichier de règles propre ressemble à une preuve de rigueur, alors qu'il ne conserve que le résultat et masque le cheminement. L'absence de trailer ressemble à une absence d'IA, alors que les notes de l'agent dans le même commit prouvent le contraire.

Sur cette base, les auteurs ont construit un journal de preuves auditable (evidence ledger). Chaque affirmation y est rattachée à une source précise et aux limites de cette source. De leur analyse, ils déduisent des exigences pour les systèmes censés enregistrer la provenance d'une recherche au moment du travail, plutôt que de la reconstituer après coup à partir de l'historique.

L'outil git-provenance-auditor est publié sur GitHub avec l'article (dépôt ktwu01/git-provenance-auditor, une seule étoile pour l'instant). Le preprint est paru sous la référence arXiv 2610.28655.

Ce que les équipes peuvent faire dès maintenant

L'échantillon est réduit : deux dépôts du même auteur. On ne peut pas en tirer de pourcentages universels, mais les conséquences pratiques sont claires.

• Ne vous fiez pas à un seul trailer. Si la politique d'une revue exige une déclaration, croisez Co-Authored-By avec les autres clés et avec les fichiers de notes de l'agent.
• Décidez à l'avance de ce qu'il faut conserver. Un carnet d'agent qui s'écrase perd près de quatre cinquièmes de ses lignes dans la version courante. Si les épisodes comptent, il faut les commiter comme des artefacts distincts.
• Ne publiez pas de « part de participation de l'IA » calculée à partir de la proportion de commits avec trailer. Le saut de 2,7% à 17,7% dans un seul dépôt montre à quel point cette métrique dépend des habitudes et des réglages.
• Consignez la provenance au moment du travail. Il faut enregistrer qui a fait quoi via l'outil de l'agent ou un hook de commit, et non le reconstituer à partir de l'historique.

Pour les éditeurs et les financeurs, la conclusion est sévère : un formulaire de déclaration qui demande de joindre un lien vers le dépôt recevra des données qui paraissent convaincantes et peuvent être fausses.