Un autor en Habr comprobó si ChatGPT puede reconstruir artículos a partir de prompts cortos

Un autor en Habr comprobó si ChatGPT puede restaurar artículos a partir de prompts cortos

El autor en Habr decidió probar una afirmación audaz de que cualquier texto puede comprimirse en un prompt corto y luego restaurarse casi sin pérdida a través de ChatGPT. En lugar de confiar en referencias a "investigadores de Cambridge", tomó artículos reales de la plataforma y realizó su propia prueba.

Cómo se configuró la prueba

El desencadenante fue una reacción a una traducción anterior del artículo de The Prompt, que afirmaba que algunos investigadores de Cambridge pueden reducir cualquier texto a un prompt mínimo con una precisión de recuperación del 98%. Los lectores rápidamente notaron que la historia parecía una estilización de "científicos británicos", lo que llevó al autor a probar no la leyenda, sino el principio en sí. Para el experimento, eligió Habr como una plataforma con una audiencia técnica estricta donde los argumentos débiles y los exageros generalmente no duran mucho.

El esquema era simple: tomar dos artículos recientes con calificación alta, comprimirlos en un prompt y pedirle a ChatGPT que escribiera un nuevo texto en un género similar sin búsqueda en Internet. El autor no solo miró el tono general, sino también cosas más concretas: si se preservaban la estructura, números clave, episodios importantes y orden de argumentos. Siguió por separado dónde el modelo comenzaría a rellenar la historia por sí solo, porque estas inserciones se confunden fácilmente con detalles reales.

Dónde funcionó

La primera prueba resultó ser casi una demostración del poder de la recuperación basada en plantillas. Se trataba de un artículo con la tesis de que los empleados indispensables no son un defecto de la arquitectura del equipo, sino un recurso valioso. Para tal publicación, bastaba un prompt de solo 67 palabras, después del cual ChatGPT generó texto de 651 palabras. Según la evaluación del autor, la coincidencia fue tan alta que junto al original, la reconstrucción parecía inquietantemente convincente.

• Se preservó la tesis principal sobre el valor de los empleados "indispensables"
• Regresó la crítica a las formas estándar de reducir el bus factor
• El modelo reprodujo recomendaciones: pagar 1,5–2 veces más, documentar a través del proceso, contratar personas independientes
• Dos escenarios prácticos y la cifra exacta de un aumento del 40% permanecieron en su lugar
• ChatGPT incluso añadió un detalle plausible — una línea de tiempo de nueve meses de fallo que no estaba en el original

La tasa de compresión en este caso fue aproximadamente 10:1. Pero junto con el resultado impresionante vino un problema: el modelo no solo recupera lógica familiar, sino que rellena con confianza brechas con lo que "suena a verdad". Para un lector que no tiene el original cerca, la diferencia entre el artículo restaurado y el real puede ser casi imperceptible, especialmente si el texto se construye sobre patrones de gestión comunes que el modelo conoce hace mucho.

Dónde tiene límites el método

El segundo artículo dio un resultado completamente diferente. El material se dedicaba no a conclusiones abstractas, sino a un análisis de bloqueos de Telegram, DPI y cómo la comunidad de desarrolladores corrigió manualmente errores específicos en la implementación de FakeTLS. Para acercarse a la lógica original, el autor tuvo que escribir 357 palabras de prompts — casi cinco veces más.

ChatGPT generó 914 palabras, pero la parte importante del texto aún se disolvió. Lo que faltaba era exactamente lo que distingue una narrativa del trabajo de ingeniería real: valores específicos de extensión TLS, discrepancias entre tamaño de clave declarado y real, números de pull request, hashes de commit, nombre de la comunidad que trajo la solución y otros artefactos extraídos del tráfico y el código. En otras palabras, el modelo recuperó el argumento general pero no pudo devolver lo que se encontró manualmente en un sistema activo, no lo que estaba en los datos de entrenamiento.

"ChatGPT recuperó el argumento. No recuperó el trabajo."

Es aquí donde el autor traza la línea entre la imitación conveniente y el conocimiento real. Si el valor de un texto descansa en estructura, tesis familiares y conclusiones típicas, se comprime bien y se descomprime razonablemente bien. Pero si un artículo consiste en ingeniería inversa manual, mediciones, interceptación de paquetes y nuevas observaciones, esas mismas "pérdidas del 2%" se convierten en casi todo por lo que se leyó el material en primer lugar.

Qué significa esto

El experimento en Habr no prueba que los LLM ya sean capaces de reemplazar completamente a los autores, pero muestra con bastante precisión dónde está el límite práctico. Las columnas, textos explicativos y ensayos de gestión con patrones comunes los modelos reensamblan mucho más fácilmente que los materiales con hechos únicos y sus propias mediciones. Para editores y lectores, se deduce una prueba simple: lo que importa no es solo lo convincentemente que suena un artículo, sino si hay algo en él que el autor realmente encontró, verificó y probó. Esta parte del contenido actualmente resiste la compresión en un prompt y la reconstrucción de la peor manera.