DetectorScope transforma a caixa-preta dos detectores de texto de IA em um sistema transparente

Os detectores de texto de IA hoje ajudam a decidir questões que afetam pessoas: revisão de artigos científicos, notas em universidades, comissões de admissão, redações e moderação de conteúdo. Os mais fortes são classificadores neurais com fine-tuning, e não há como explicar o veredito deles. As alternativas transparentes, baseadas em estilometria e em características linguísticas, perdem de forma clara em precisão.

Uma equipe de pesquisadores formada por Liam Dugan, Callum McDougall, Matthew Denton, Philip Pham, Kristina Kezer-Chen e Chris Callison-Burch propôs uma saída para esse dilema. O pipeline DetectorScope pega um detector já pronto e constrói sobre ele um classificador baseado em conceitos legíveis por humanos. O artigo foi aceito no programa principal do EMNLP 2026, e o código está publicado no repositório google-deepmind/detectorscope.

Cinco passos da caixa-preta à auditoria

A ideia se apoia nos autoencoders esparsos (SAE), ferramenta de interpretabilidade que decompõe as ativações internas de um modelo em características individuais. Os autores não a aplicaram a um modelo de linguagem de uso geral, mas ao próprio detector. O pipeline funciona assim:

• Treinamento dos SAE. Os autoencoders são treinados diretamente sobre o residual stream do detector neural com fine-tuning.
• Autointerpretação. Cada feature do SAE recebe automaticamente uma descrição em texto: o que exatamente ela captura no texto.
• Filtro de fidelity. Ficam apenas as features cujas descrições geradas passam por um limiar global de confiabilidade. Tudo o que não foi possível descrever de modo convincente é descartado.
• Classificador leve. Um modelo simples é treinado sobre as features interpretáveis selecionadas, e é ele que emite o veredito final.
• Auditoria. Para qualquer decisão, é possível ver quais conceitos foram ativados e por que o texto foi considerado de máquina ou humano.

O filtro por limiar é essencial. Rótulos automáticos de features podem ser bonitos e errados, e sem verificação a auditoria viraria uma ilusão de transparência. A exigência de confiabilidade global deixa no classificador final apenas as características em que se pode confiar.

O que foi encontrado dentro do detector

O principal resultado de conteúdo: os SAE extraem conceitos ocultos que correspondem a "marcadores" linguísticos concretos e preditivos de texto de IA. Não se trata de noções abstratas como "suavidade estilística" ou "alta perplexidade", mas de traços específicos da linguagem, que um analista pode ler, testar em exemplos e contestar. Para o revisor de um periódico ou para um professor, essa é a diferença entre "o sistema disse 94%" e "o sistema encontrou estas construções".

Sobre a precisão, os autores relatam duas conclusões. Os detectores auditáveis mantêm a qualidade da caixa-preta original, tanto em dados da mesma distribuição quanto em textos fora dela. Além disso, em textos out-of-distribution, os classificadores baseados nas características extraídas têm resultado melhor que as alternativas neurais e estilométricas. Para a detecção, essa é a zona mais dolorosa: os geradores mudam rápido, e detectores treinados em modelos antigos falham nos novos.

Há também outro lado a considerar. Características compreensíveis facilitam não só a auditoria, mas também a evasão: quem sabe quais "marcadores" o detector usa para pegar um texto pode eliminá-los. É o preço habitual da transparência, e resolvê-lo exigirá políticas de uso, não apenas arquitetura.

Como aplicar

Para equipes que já usam detectores na verificação de trabalhos, na seleção de revisores ou na moderação, o DetectorScope descreve um caminho viável: em vez de trocar o modelo, acrescentar sobre ele uma camada de explicações. O método é apresentado como aplicável a um detector arbitrário, então as soluções existentes não precisam ser substituídas do zero.

As consequências práticas são claras. Casos controversos podem ser analisados pela lista de características ativadas, e não por um único número de probabilidade. Erros sistemáticos, como o viés contra autores que não escrevem no idioma nativo, ficam mais fáceis de notar quando se vê quais conceitos movem o veredito. E, para reguladores e organizações que precisam documentar decisões automatizadas sobre pessoas, um detector auditável oferece algo que pode ser anexado ao relatório.

O código está aberto, então o método pode ser testado com dados próprios e com o detector que a equipe já usa. Serão testes desse tipo que mostrarão com que estabilidade as descrições das características se transferem entre domínios e idiomas.