Un autor de Habr comprueba si ChatGPT puede reconstruir artículos a partir de prompts breves

Un autor de Habr quiso poner a prueba una idea llamativa: que cualquier texto puede comprimirse en un prompt corto y recuperarse después con ChatGPT casi sin pérdidas. En lugar de citar a «investigadores de Cambridge», tomó artículos reales de la plataforma e hizo su propia prueba.

Cómo se montó la prueba

El detonante fue la reacción a una traducción anterior del artículo The Prompt, que afirmaba que unos investigadores de Cambridge saben reducir cualquier texto a un prompt mínimo con una precisión de reconstrucción del 98%. Los lectores notaron enseguida que la historia parecía una parodia de los «científicos británicos», y eso llevó al autor a comprobar ya no la leyenda, sino el principio en sí.

Para el experimento eligió Habr, una plataforma con una audiencia técnica exigente, donde los argumentos débiles y las exageraciones suelen durar poco.

El esquema fue sencillo: tomar dos artículos recientes con buena valoración, comprimirlos en un prompt y pedir a ChatGPT que escribiera un texto nuevo de género similar, sin buscar en internet. El autor no se fijó solo en el tono general, sino en aspectos más terrenales: si se conservaban la estructura, las cifras clave, los episodios importantes y el orden de los argumentos. También vigiló dónde empezaba el modelo a completar la historia por su cuenta, porque esas inserciones se confunden fácilmente con detalles reales.

Dónde funcionó

La primera prueba fue casi una demostración de la fuerza de la reconstrucción por plantillas. Se trataba de un artículo cuya tesis era que los empleados insustituibles no son un defecto de la arquitectura del equipo, sino un recurso valioso. Bastó un prompt de solo 67 palabras, y ChatGPT generó un texto de 651. Según el autor, la coincidencia fue tan alta que, junto al original, la reconstrucción resultaba inquietantemente convincente.

• Se conservó la tesis principal sobre el valor de los empleados «insustituibles»
• Volvió la crítica a las formas habituales de reducir el bus factor
• El modelo reprodujo las recomendaciones: pagar de 1.5 a 2 veces más, documentar mediante procesos, contratar a personas autónomas
• Se mantuvieron los dos escenarios prácticos y la cifra exacta de aumento del 40%
• ChatGPT incluso añadió un detalle verosímil, una cronología de fracaso de nueve meses, que no estaba en el original

La tasa de compresión en este caso fue de aproximadamente 10:1. Pero junto al resultado impresionante apareció un problema: el modelo no se limita a restaurar una lógica conocida, sino que rellena huecos con seguridad con lo que «parece verdad». Para un lector que no tiene el original a mano, la diferencia entre el artículo restaurado y el real puede ser casi imperceptible, sobre todo si el texto se apoya en patrones de gestión comunes que el modelo conoce desde hace tiempo.

Dónde está el límite del método

En el segundo artículo, el experimento dio un resultado muy distinto. El material no trataba de conclusiones abstractas, sino del análisis de los bloqueos de Telegram, el DPI y cómo la comunidad de desarrolladores corrigió a mano errores concretos en la implementación de FakeTLS. Para acercarse a la lógica original, el autor tuvo que escribir un prompt de 357 palabras, casi cinco veces más.

ChatGPT entregó 914 palabras, pero una parte importante del texto se desvaneció igualmente. Faltó justo lo que distingue un resumen de un trabajo de ingeniería real: valores concretos de extensiones TLS, la discrepancia entre el tamaño de clave declarado y el real, el número del pull request, el hash del commit, el nombre de la comunidad que aportó la corrección y otros artefactos extraídos del tráfico y del código. Es decir, el modelo reconstruyó la discusión general, pero no pudo devolver lo que se encontró a mano en un sistema vivo y no estaba en los datos de entrenamiento.

«ChatGPT restauró el argumento. No restauró el trabajo.»

Aquí el autor traza la frontera entre la imitación cómoda y el conocimiento real. Si el valor de un texto descansa en la estructura, las tesis conocidas y las conclusiones típicas, se comprime bien y se despliega de vuelta con bastante fidelidad. Pero si el artículo se compone de ingeniería inversa manual, mediciones, captura de paquetes y observaciones nuevas, esa «pérdida del 2%» se convierte en casi todo aquello por lo que se leía ese material.

Qué significa

El experimento de Habr no demuestra que los LLM ya puedan sustituir por completo a los autores, pero señala con bastante precisión dónde está el límite práctico. Las columnas, los textos explicativos y los ensayos de gestión con patrones comunes son bastante más fáciles de reconstruir para los modelos que los materiales con datos únicos y mediciones propias.

Para editores y lectores, de aquí se desprende una prueba simple: importa no solo cuán convincente suena un artículo, sino si contiene algo que el autor realmente encontró, verificó y demostró. Esa parte del contenido es, por ahora, la que peor sobrevive a la compresión en un prompt y a la reconstrucción posterior.