Auditoría git de dos repositorios: el trailer de IA aparece en 1 de 39 commits con notas del agente

Editoriales y entidades que financian la investigación exigen cada vez más a los autores que declaren cómo participó la IA en su trabajo. En los trabajos computacionales, la respuesta se busca en el repositorio. El grupo formado por Koutian Wu, Zesen Huang y Hejia Geng comprobó qué puede responder realmente un repositorio. En el estudio «What Git Does Not Record» analizaron dos repositorios del mismo autor y del mismo campo, de 466 y 103 commits. La cifra más reveladora: en Project B, 39 commits modifican el archivo donde el agente lleva sus notas de trabajo, pero el trailer Co-Authored-By aparece solo en uno de ellos, es decir, en el 2,6%.

Dos rastros que se leen de forma distinta

Cada repositorio guarda un tipo distinto de «residuo del agente». El primero contiene archivos permanentes de reglas, un rastro prescriptivo. El segundo contiene el cuaderno de un agente en funcionamiento, un rastro narrativo.

Una regla fija la conclusión y borra la historia de la que surgió. Por eso, el 85,6% de las líneas que alguna vez entraron en el rastro prescriptivo son visibles en la revisión actual. El cuaderno, en cambio, registra episodios, y en la versión actual solo sobrevive el 21,8% de sus líneas. Para un auditor que mira la última instantánea, las reglas parecen completas y el cuaderno, casi vacío.

Si se cuentan las revisiones, la brecha es mucho menor. En el rastro prescriptivo, 15 de 41 revisiones no dejan ninguna línea visible; en el narrativo, son 18 de 41. Es decir, la «proporción de líneas visibles» y la «proporción de ediciones visibles» son métricas distintas, y elegir una u otra cambia la conclusión.

El trailer en el que se apoyan los auditores

La auditoría automática suele buscar el campo Co-Authored-By en el historial. Los autores muestran que ese campo es incompleto e inestable:

• En Project A hay tres claves distintas de trailers de IA, y Co-Authored-By es solo una de ellas. Cubre 66 de los 121 commits que contienen algún marcador de IA.
• En Project B, la sensibilidad del trailer es baja. Tomando como referencia un proxy explícito dentro del repositorio (los commits que modifican el archivo de notas del agente), el trailer aparece en 1 de 39 commits, es decir, en el 2,6%.
• La proporción de commits con trailer en Project A no puede considerarse estable en el tiempo. Sube del 2,7% al 17,7% en un punto de corte que los autores no habían fijado de antemano.

De ahí los autores extraen una conclusión prudente: los canales dentro del repositorio discrepan entre sí, y ninguna de las proporciones debe leerse como la proporción de participación de la IA. No aíslan la causa de la discrepancia y lo dicen expresamente. Puede deberse a un cambio de hábitos del autor, de herramienta o de configuración del agente.

Qué responden los rastros y dónde se equivocan con seguridad

Entre los campos de los commits y los archivos de artefactos, los autores construyen una tabla: qué afirmaciones sobre el origen del trabajo confirma el rastro, cuáles no puede confirmar y a cuáles responde con seguridad, pero de forma errónea. Esta última categoría es la más peligrosa. Un archivo de reglas limpio parece prueba de disciplina, cuando solo guarda el resultado y oculta el camino. La ausencia del trailer parece ausencia de IA, aunque las notas del agente en el mismo commit indiquen lo contrario.

Sobre esta base se construye un registro de evidencias auditable (evidence ledger). Cada afirmación queda vinculada a una fuente concreta y a las limitaciones de esa fuente. Del análisis, los autores derivan requisitos para los sistemas que deben registrar el origen de una investigación en el momento de trabajar, y no reconstruirlo a posteriori a partir del historial.

Junto con el estudio se ha publicado en GitHub la herramienta git-provenance-auditor (repositorio ktwu01/git-provenance-auditor, por ahora con una estrella). El preprint está publicado como arXiv 2610.28655.

Qué pueden hacer ya los equipos

La muestra es pequeña: dos repositorios de un mismo autor. De ella no pueden extraerse porcentajes universales, pero las conclusiones prácticas son claras.

• No se fíe de un único trailer. Si la política de la revista exige declarar el uso de IA, contraste Co-Authored-By con otras claves y con los archivos de notas del agente.
• Decida de antemano qué conservar. Un cuaderno de agente que se sobrescribe pierde casi cuatro quintas partes de sus líneas en la versión actual. Si los episodios importan, hay que hacer commit de ellos como artefactos independientes.
• No publique una «proporción de participación de la IA» basada en la proporción de commits con trailer. El salto del 2,7% al 17,7% en un mismo repositorio muestra hasta qué punto la métrica depende de hábitos y configuraciones.
• Registre la procedencia en el momento de trabajar. Quién hizo qué debe anotarse mediante la herramienta del agente o un hook de commit, no reconstruirse a partir del historial.

Para editoriales y entidades financiadoras, la conclusión es dura: un formulario de divulgación que pida adjuntar el enlace al repositorio recibirá datos que parecen convincentes y pueden ser erróneos.