Un auteur sur Habr a vérifié si ChatGPT peut reconstituer des articles à partir de prompts courts

Un auteur sur Habr a vérifié si ChatGPT peut restaurer des articles à partir de prompts courts

L'auteur sur Habr a décidé de tester une affirmation audacieuse selon laquelle n'importe quel texte peut être compressé dans un prompt court et puis restauré presque sans perte via ChatGPT. Au lieu de s'appuyer sur des références à des « chercheurs de Cambridge », il a pris de vrais articles de la plateforme et mené sa propre expérience.

Comment le test a été organisé

Le déclencheur était une réaction à une traduction antérieure de l'article The Prompt, qui affirmait que certains chercheurs de Cambridge peuvent réduire n'importe quel texte à un prompt minimal avec une précision de récupération de 98 %. Les lecteurs ont rapidement remarqué que l'histoire ressemblait à une stylisation de « scientifiques britanniques », ce qui a poussé l'auteur à tester non pas la légende, mais le principe lui-même. Pour l'expérience, il a choisi Habr comme plateforme avec un public technique strict où les arguments faibles et les exagérations ne durent généralement pas longtemps.

Le schéma était simple : prendre deux articles récents bien notés, les compresser en un prompt et demander à ChatGPT d'écrire un nouveau texte dans un genre similaire sans recherche sur Internet. L'auteur a regardé non seulement le ton général, mais aussi des éléments plus concrets : si la structure, les chiffres clés, les épisodes importants et l'ordre des arguments ont été préservés. Il a suivi séparément où le modèle commencerait à compléter l'histoire de lui-même, car ces insertions sont facilement confondues avec de véritables détails.

Où cela a fonctionné

Le premier test s'est avéré être presque une démonstration de la puissance de la récupération basée sur des modèles. Il s'agissait d'un article avec la thèse selon laquelle les employés irremplaçables ne sont pas un défaut de l'architecture d'équipe, mais une ressource précieuse. Pour une telle publication, un prompt de seulement 67 mots suffisait, après quoi ChatGPT a généré un texte de 651 mots. Selon l'évaluation de l'auteur, la correspondance était si élevée qu'à côté de l'original, la reconstruction paraissait terriblement convaincante.

• La thèse principale sur la valeur des employés « irremplaçables » a été conservée
• La critique des méthodes standard pour réduire le bus factor est revenue
• Le modèle a reproduit les recommandations : payer 1,5–2 fois plus, documenter par le processus, embaucher des personnes indépendantes
• Deux scénarios pratiques et le chiffre exact d'une augmentation de 40 % sont restés en place
• ChatGPT a même ajouté un détail plausible — une chronologie de neuf mois d'échec qui n'était pas dans l'original

Le taux de compression dans ce cas était d'environ 10:1. Mais avec le résultat impressionnant venait un problème : le modèle ne récupère pas seulement une logique familière, mais remplit avec confiance les lacunes avec ce qui « sonne comme la vérité ». Pour un lecteur qui n'a pas l'original à proximité, la différence entre l'article restauré et l'article réel peut être presque imperceptible, surtout si le texte s'appuie sur des modèles de gestion courants que le modèle connaît depuis longtemps.

Où la méthode a des limites

Le deuxième article a donné un résultat complètement différent. Le matériel concernait non pas des conclusions abstraites, mais une analyse des blocages de Telegram, du DPI et de la façon dont la communauté des développeurs a corrigé manuellement des erreurs spécifiques dans la mise en œuvre de FakeTLS. Pour se rapprocher de la logique originale, l'auteur a dû écrire 357 mots de prompts — presque cinq fois plus.

ChatGPT a généré 914 mots, mais la partie importante du texte s'est quand même dissoute. Ce qui manquait était exactement ce qui distingue un récit d'un vrai travail d'ingénierie : des valeurs spécifiques d'extension TLS, des écarts entre la taille de clé déclarée et réelle, des numéros de pull request, des hashes de commit, le nom de la communauté qui a apporté la correction et d'autres artefacts extraits du trafic et du code. En d'autres termes, le modèle a récupéré l'argument général mais n'a pas pu revenir sur ce qui a été trouvé manuellement dans un système vivant, pas ce qui était dans les données d'entraînement.

« ChatGPT a récupéré l'argument.

Il n'a pas récupéré le travail. »

C'est là que l'auteur trace la ligne entre l'imitation commode et la vraie connaissance. Si la valeur d'un texte repose sur la structure, des thèses familières et des conclusions typiques, il se compresse bien et se décompresse raisonnablement bien. Mais si un article consiste en l'ingénierie inverse manuelle, les mesures, l'interception de paquets et les nouvelles observations, ces mêmes « pertes de 2 % » se transforment en presque tout ce pour quoi le matériel a été lu en premier lieu.

Qu'est-ce que cela signifie

L'expérience sur Habr ne prouve pas que les LLM sont déjà capables de remplacer complètement les auteurs, mais elle montre assez précisément où se trouve la limite pratique. Les colonnes, les textes explicatifs et les essais de gestion avec des modèles courants les modèles réassemblent beaucoup plus facilement que les matériaux avec des faits uniques et leurs propres mesures. Pour les éditeurs et les lecteurs, un test simple s'ensuit : ce qui compte, ce n'est pas seulement la façon dont un article sonne de manière convaincante, mais s'il y a quelque chose dedans que l'auteur a vraiment trouvé, vérifié et prouvé lui-même.

Cette partie du contenu résiste actuellement à la compression en un prompt et au réassemblage de la pire façon.