Auditoria de git em dois repositórios: trailer de IA aparece em 1 de 39 commits com notas do agente

Editoras e agências de fomento exigem cada vez mais que os autores revelem como a IA participou da pesquisa. Em trabalhos computacionais, a resposta costuma ser buscada no repositório. O grupo formado por Koutian Wu, Zesen Huang e Hejia Geng verificou o que um repositório de fato consegue responder. No trabalho “What Git Does Not Record”, eles analisaram dois repositórios do mesmo autor, da mesma área, com 466 e 103 commits. O número mais revelador: no Project B, 39 commits alteram o arquivo em que o agente mantém suas notas de trabalho, mas o trailer Co-Authored-By aparece em apenas um deles, ou seja, em 2,6%.

Dois rastros, duas leituras

Cada repositório guarda um tipo de “resíduo do agente”. O primeiro contém arquivos permanentes de regras, um rastro prescritivo. O segundo contém o caderno de um agente em operação, um rastro narrativo.

A regra registra a conclusão e apaga a história de onde ela veio. Por isso, 85,6% das linhas que já passaram pelo rastro prescritivo estão visíveis na revisão atual. O caderno registra episódios, e na versão atual restam apenas 21,8% de suas linhas. Para um auditor que olha só o último snapshot, as regras parecem completas e o caderno parece quase vazio.

A diferença é bem menor quando se contam as revisões. No rastro prescritivo, 15 de 41 revisões não deixam nenhuma linha visível; no narrativo, são 18 de 41. Ou seja, a “proporção de linhas visíveis” e a “proporção de edições visíveis” são métricas diferentes, e a escolha entre elas muda a conclusão.

O trailer em que os auditores se apoiam

A auditoria automática normalmente procura o campo Co-Authored-By no histórico. Os autores mostram que esse campo é incompleto e instável:

• No Project A, há três chaves diferentes de trailers de IA, e Co-Authored-By é apenas uma delas. Ela cobre 66 dos 121 commits que têm algum marcador de IA.
• No Project B, a sensibilidade do trailer é baixa. Tomando como referência um proxy explícito dentro do repositório (os commits que alteram o arquivo de notas do agente), o trailer está presente em 1 de 39 commits, ou seja, em 2,6%.
• A proporção de commits com trailer no Project A não pode ser considerada estável ao longo do tempo. Ela sobe de 2,7% para 17,7% em um ponto de corte que os autores não definiram previamente.

Disso os autores tiram uma conclusão cautelosa: os canais dentro do repositório divergem entre si, e nenhuma dessas proporções deve ser lida como a proporção de participação da IA. Eles não isolam a causa da divergência e dizem isso explicitamente. Pode ser uma mudança de hábito do autor, de ferramenta ou de configuração do agente.

O que os rastros respondem e onde erram com confiança

Cruzando os campos dos commits com os arquivos de artefatos, os autores montam uma tabela: quais afirmações sobre a origem do trabalho o rastro confirma, quais não consegue confirmar e quais responde com confiança, mas de forma errada. A última categoria é a mais perigosa. Um arquivo de regras limpo parece prova de disciplina, quando apenas guarda o resultado e esconde o caminho. A ausência de trailer parece ausência de IA, embora as notas do agente no mesmo commit indiquem o contrário.

Com base nisso, foi construído um registro de evidências auditável (evidence ledger). Cada afirmação nele fica ligada a uma fonte específica e às limitações dessa fonte. A partir da análise, os autores derivam requisitos para sistemas que precisam registrar a proveniência da pesquisa no momento do trabalho, em vez de reconstruí-la depois a partir do histórico.

Junto com o artigo, foi publicada no GitHub a ferramenta git-provenance-auditor (repositório ktwu01/git-provenance-auditor, até agora com uma estrela). O preprint saiu como arXiv 2610.28655.

O que as equipes podem fazer já

A amostra é pequena: dois repositórios do mesmo autor. Não dá para extrair percentuais universais, mas as conclusões práticas são claras.

• Não confie em um único trailer. Se a política da revista exige divulgação, confronte o Co-Authored-By com as outras chaves e com os arquivos de notas do agente.
• Decida de antemão o que guardar. Um caderno do agente que é sobrescrito perde quase quatro quintos de suas linhas na versão atual. Se os episódios importam, é preciso fazer commit deles como artefatos separados.
• Não publique uma “proporção de participação da IA” baseada na proporção de commits com trailer. O salto de 2,7% para 17,7% em um único repositório mostra o quanto essa métrica depende de hábitos e configurações.
• Registre a proveniência no momento do trabalho. Quem fez o quê deve ser anotado pela ferramenta do agente ou por um hook de commit, e não reconstruído a partir do histórico.

Para editoras e agências de fomento, a conclusão é dura: um formulário de divulgação que pede apenas o link do repositório receberá dados que parecem convincentes e podem estar errados.