Autor do Habr testa se o ChatGPT consegue recriar artigos a partir de prompts curtos

Um autor do Habr decidiu testar uma ideia ousada: a de que qualquer texto pode ser comprimido em um prompt curto e depois recuperado pelo ChatGPT quase sem perdas. Em vez de citar "pesquisadores de Cambridge", ele pegou artigos reais da plataforma e fez seu próprio teste.

Como o teste foi montado

O gatilho foi a reação a uma tradução anterior do artigo The Prompt, que afirmava que certos pesquisadores de Cambridge sabem reduzir qualquer texto a um prompt mínimo com 98% de precisão na reconstrução. Os leitores logo notaram que a história parecia uma estilização de "cientistas britânicos", o que levou o autor a verificar não mais a lenda, mas o princípio em si.

Para o experimento, ele escolheu o Habr, plataforma com um público técnico exigente, onde argumentos fracos e exageros costumam durar pouco.

O esquema foi simples: pegar dois artigos recentes e bem avaliados, comprimi-los em um prompt e pedir ao ChatGPT que escrevesse um texto novo em gênero semelhante, sem pesquisar na internet. O autor olhou além do tom geral e avaliou coisas mais concretas: se a estrutura, os números-chave, os episódios importantes e a ordem dos argumentos se mantinham. Também observou onde o modelo passava a completar a história por conta própria, porque essas inserções são fáceis de confundir com detalhes reais.

Onde funcionou

O primeiro teste foi quase uma demonstração de força da reconstrução baseada em modelos. O artigo defendia que funcionários insubstituíveis não são um defeito da arquitetura da equipe, mas um recurso valioso. Bastou um prompt de apenas 67 palavras, e o ChatGPT gerou um texto de 651. Na avaliação do autor, a semelhança foi tão alta que, ao lado do original, a reconstrução parecia assustadoramente convincente.

• A tese principal sobre o valor dos funcionários "insubstituíveis" foi mantida
• A crítica às formas padrão de reduzir o bus factor voltou
• O modelo reproduziu as recomendações: pagar de 1.5 a 2 vezes mais, documentar por meio de processos, contratar pessoas autônomas
• Os dois cenários práticos e o número exato do aumento de 40% permaneceram
• O ChatGPT até acrescentou um detalhe plausível, uma linha do tempo de nove meses para o fracasso, que não existia na fonte

A taxa de compressão nesse caso foi de aproximadamente 10:1. Mas, junto com o resultado impressionante, surgiu um problema: o modelo não apenas restaura uma lógica conhecida, como preenche lacunas com confiança com aquilo que "parece verdade". Para um leitor sem o original por perto, a diferença entre o artigo restaurado e o real pode ser quase imperceptível, principalmente se o texto se apoia em padrões comuns de gestão, há muito conhecidos pelo modelo.

Onde está o limite do método

No segundo artigo, o experimento deu um resultado bem diferente. O material tratava não de conclusões abstratas, mas da análise dos bloqueios do Telegram, do DPI e de como a comunidade de desenvolvedores corrigiu manualmente erros específicos na implementação do FakeTLS. Para se aproximar da lógica original, o autor precisou escrever um prompt de 357 palavras, quase cinco vezes maior.

O ChatGPT entregou 914 palavras, mas uma parte importante do texto ainda se perdeu. Faltou justamente o que separa um resumo de um trabalho real de engenharia: valores concretos de extensões TLS, a divergência entre o tamanho de chave declarado e o real, o número do pull request, o hash do commit, o nome da comunidade que trouxe a correção e outros artefatos extraídos do tráfego e do código. Em outras palavras, o modelo reconstruiu a discussão geral, mas não conseguiu devolver o que foi encontrado à mão em um sistema vivo, e não estava nos dados de treinamento.

"O ChatGPT restaurou o argumento. Não restaurou o trabalho."

É aqui que o autor traça a fronteira entre a imitação conveniente e o conhecimento de verdade. Se o valor de um texto está na estrutura, em teses conhecidas e em conclusões típicas, ele comprime bem e se expande de volta razoavelmente. Mas se o artigo é feito de engenharia reversa manual, medições, captura de pacotes e observações novas, aqueles "2% de perdas" viram quase tudo aquilo pelo qual esse material era lido.

O que isso significa

O experimento do Habr não prova que os LLMs já podem substituir autores por completo, mas mostra com bastante precisão onde passa o limite prático. Colunas, textos explicativos e ensaios de gestão com padrões comuns são bem mais fáceis de remontar para os modelos do que materiais com fatos únicos e medições próprias.

Para editores e leitores, a conclusão é um teste simples: importa não só o quão convincente o artigo soa, mas se há nele algo que o autor realmente encontrou, verificou e provou. Essa parte do conteúdo é, por ora, a que pior sobrevive à compressão em um prompt e à remontagem.