Un auteur de Habr teste si ChatGPT peut reconstituer des articles à partir de prompts courts

Un auteur de Habr a voulu tester une idée retentissante : n'importe quel texte pourrait être compressé en un prompt court, puis restitué par ChatGPT presque sans perte. Plutôt que de citer des « chercheurs de Cambridge », il a pris de vrais articles de la plateforme et mené son propre test.

Comment le test a été conçu

Tout est parti de la réaction à une traduction antérieure de l'article The Prompt, qui affirmait que certains chercheurs de Cambridge savent réduire n'importe quel texte à un prompt minimal avec une précision de reconstruction de 98 %. Les lecteurs ont vite remarqué que l'histoire ressemblait à une parodie de « savants britanniques », ce qui a poussé l'auteur à vérifier non plus la légende, mais le principe lui-même.

Pour l'expérience, il a choisi Habr, une plateforme à l'audience technique exigeante, où les arguments faibles et les approximations ne tiennent généralement pas longtemps.

Le schéma était simple : prendre deux articles récents très bien notés, les compresser en un prompt et demander à ChatGPT d'écrire un nouveau texte dans un genre similaire, sans recherche sur internet. L'auteur ne s'est pas contenté du ton général ; il a examiné des points plus concrets : la structure, les chiffres clés, les épisodes importants et l'ordre des arguments se conservent-ils ? Il a aussi surveillé les endroits où le modèle se met à compléter l'histoire de lui-même, car ces ajouts se prennent facilement pour de vrais détails.

Là où ça a marché

Le premier test a presque tenu de la démonstration de force de la reconstruction par gabarit. L'article défendait la thèse selon laquelle les employés irremplaçables ne sont pas un défaut d'architecture de l'équipe, mais une ressource précieuse. Un prompt de seulement 67 mots a suffi, et ChatGPT a généré un texte de 651 mots. Selon l'auteur, la ressemblance était si forte que, à côté de l'original, la reconstruction paraissait d'une crédibilité troublante.

• La thèse principale sur la valeur des employés « irremplaçables » a été conservée
• La critique des méthodes classiques pour réduire le bus factor est revenue
• Le modèle a reproduit les recommandations : payer 1.5 à 2 fois plus, documenter par le processus, recruter des personnes autonomes
• Les deux scénarios pratiques et le chiffre exact d'augmentation de 40 % sont restés en place
• ChatGPT a même ajouté un détail plausible, une chronologie d'échec sur neuf mois, absente de la source

Le taux de compression était ici d'environ 10:1. Mais le résultat impressionnant s'accompagne d'un problème : le modèle ne se contente pas de restituer une logique connue, il comble les trous avec assurance par ce qui « ressemble à la vérité ». Pour un lecteur qui n'a pas l'original sous les yeux, la différence entre l'article reconstitué et l'article réel peut être presque invisible, surtout si le texte repose sur des schémas de management courants, connus du modèle de longue date.

Où la méthode atteint sa limite

Sur le second article, l'expérience a donné un résultat tout autre. Le texte ne portait pas sur des conclusions abstraites, mais sur l'analyse des blocages de Telegram, du DPI et sur la façon dont la communauté de développeurs a corrigé à la main des erreurs précises dans l'implémentation de FakeTLS. Pour se rapprocher de la logique d'origine, l'auteur a dû écrire un prompt de 357 mots, soit près de cinq fois plus.

ChatGPT a produit 914 mots, mais une part importante du texte s'est tout de même dissoute. Il manquait précisément ce qui distingue un résumé d'un vrai travail d'ingénierie : les valeurs concrètes des extensions TLS, l'écart entre la taille de clé annoncée et la taille réelle, le numéro de la pull request, le hash du commit, le nom de la communauté qui a apporté le correctif et d'autres artefacts tirés du trafic et du code. Autrement dit, le modèle a reconstitué le débat général, mais n'a pas pu restituer ce qui avait été trouvé à la main dans un système vivant, et ne figurait pas dans les données d'entraînement.

« ChatGPT a restauré l'argument.

Il n'a pas restauré le travail. »

C'est ici que l'auteur trace la frontière entre l'imitation commode et le savoir véritable. Si la valeur d'un texte repose sur la structure, des thèses connues et des conclusions typiques, il se compresse bien et se redéploie correctement. Mais si l'article repose sur de la rétro-ingénierie manuelle, des mesures, de la capture de paquets et de nouvelles observations, ces « 2 % de pertes » représentent presque tout ce pour quoi on lisait un tel contenu.

Ce que cela signifie

L'expérience de Habr ne prouve pas que les LLM peuvent déjà remplacer entièrement les auteurs, mais elle montre assez précisément où passe la frontière pratique. Les chroniques, les textes explicatifs et les essais de management fondés sur des schémas communs sont nettement plus faciles à reconstituer pour les modèles que les contenus riches en faits uniques et en mesures originales.

Pour les rédacteurs et les lecteurs, il en découle un test simple : ce qui compte n'est pas seulement le degré de conviction d'un article, mais la présence de quelque chose que l'auteur a réellement trouvé, vérifié et démontré. Cette part du contenu est, pour l'instant, celle qui résiste le moins bien à la compression en prompt puis à la reconstruction.