Autor no Habr testou se o ChatGPT consegue reconstruir artigos a partir de prompts curtos

Um autor no Habr verificou se o ChatGPT consegue restaurar artigos a partir de prompts curtos

O autor no Habr decidiu testar uma afirmação ousada de que qualquer texto pode ser comprimido em um prompt curto e depois restaurado quase sem perda através do ChatGPT. Em vez de confiar em referências a "pesquisadores de Cambridge", ele pegou artigos reais da plataforma e realizou seu próprio teste.

Como o teste foi configurado

O gatilho foi uma reação a uma tradução anterior do artigo The Prompt, que afirmava que alguns pesquisadores de Cambridge conseguem reduzir qualquer texto a um prompt mínimo com precisão de recuperação de 98%. Os leitores rapidamente notaram que a história parecia uma estilização de "cientistas britânicos", o que levou o autor a testar não a lenda, mas o princípio em si. Para o experimento, ele escolheu Habr como uma plataforma com público técnico rigoroso onde argumentos fracos e exageros geralmente não duram muito.

O esquema era simples: pegar dois artigos recentes com alta classificação, compactá-los em um prompt e pedir ao ChatGPT para escrever um novo texto em um gênero semelhante sem pesquisa na internet. O autor olhou não apenas para o tom geral, mas também para coisas mais concretas: se a estrutura, números-chave, episódios importantes e ordem dos argumentos foram preservados. Ele rastreou separadamente onde o modelo começaria a preencher a história por conta própria, porque essas inserções são facilmente confundidas com detalhes reais.

Onde funcionou

O primeiro teste se mostrou quase uma demonstração do poder da recuperação baseada em modelos. Era sobre um artigo com a tese de que funcionários indispensáveis não são um defeito da arquitetura da equipe, mas um recurso valioso. Para tal publicação, um prompt de apenas 67 palavras era suficiente, após o qual o ChatGPT gerou texto de 651 palavras. De acordo com a avaliação do autor, a correspondência foi tão alta que ao lado do original, a reconstrução parecia assustadoramente convincente.

• A tese principal sobre o valor de funcionários "indispensáveis" foi preservada
• A crítica aos modos padrão de reduzir o fator de barramento retornou
• O modelo reproduziu recomendações: pagar 1,5–2 vezes mais, documentar através do processo, contratar pessoas independentes
• Dois cenários práticos e a cifra exata de um aumento de 40% permaneceram no lugar
• O ChatGPT até adicionou um detalhe plausível — uma linha do tempo de nove meses de falha que não estava no original

A taxa de compressão neste caso foi aproximadamente 10:1. Mas junto com o resultado impressionante veio um problema: o modelo não apenas recupera lógica familiar, mas preenche com confiança lacunas com o que "soa como verdade". Para um leitor que não tem o original por perto, a diferença entre o artigo restaurado e o real pode ser quase imperceptível, especialmente se o texto é construído em padrões de gerenciamento comuns que o modelo há muito conhece.

Onde o método tem limites

O segundo artigo deu um resultado completamente diferente. O material foi dedicado não a conclusões abstratas, mas a uma análise de bloqueios do Telegram, DPI e como a comunidade de desenvolvedores corrigiu manualmente erros específicos na implementação do FakeTLS. Para se aproximar da lógica original, o autor teve que escrever 357 palavras de prompts — quase cinco vezes mais.

O ChatGPT gerou 914 palavras, mas a parte importante do texto ainda se dissolveu. O que faltava era exatamente o que distingue uma narrativa do trabalho de engenharia real: valores específicos de extensão TLS, discrepâncias entre tamanho de chave declarado e real, números de pull request, hashes de commit, nome da comunidade que trouxe a correção e outros artefatos extraídos de tráfego e código. Em outras palavras, o modelo recuperou o argumento geral, mas não conseguiu retornar o que foi encontrado manualmente em um sistema ativo, não o que estava nos dados de treinamento.

"O ChatGPT recuperou o argumento. Não recuperou o trabalho."

É aqui que o autor traça a linha entre imitação conveniente e conhecimento real. Se o valor de um texto repousa em estrutura, teses familiares e conclusões típicas, ele compacta bem e descompacta razoavelmente bem. Mas se um artigo consiste em engenharia reversa manual, medições, interceptação de pacotes e novas observações, essas mesmas "perdas de 2%" se transformam em quase tudo pelo qual o material foi lido em primeiro lugar.

O que isso significa

O experimento no Habr não prova que os LLMs já são capazes de substituir completamente os autores, mas mostra com bastante precisão onde está o limite prático. Colunas, textos explicativos e ensaios de gerenciamento com padrões comuns os modelos remontam muito mais facilmente do que materiais com fatos únicos e suas próprias medições. Para editores e leitores, um teste simples se segue: o que importa não é apenas o quanto um artigo soa convincentemente, mas se há algo nele que o autor realmente encontrou, verificou e provou. Esta parte do conteúdo atualmente resiste à compressão em um prompt e reassembly da pior maneira.