Une carte de site pour agent IA réduit le texte téléchargé de 58%, mais les tokens augmentent de 3,5%
Demandez à un agent le prix des frites : le site lui renverra le menu en entier. L'équipe Deckard a créé agent-sitemap, un générateur qui découpe un site en notes Markdown reliées par des liens, à la manière d'une table des matières. Avec cette carte, Claude Code a effectué 6 requêtes au lieu de 9 et téléchargé 58% de texte en moins, mais le nombre de tokens d'entrée a augmenté de 3,5%. L'économie se mesure donc en tokens et en cache, pas en taille de pages.
Traité par IA depuis Habr AI ; édité par Hamidun News
Quand vous demandez à un agent IA d'aller sur le site d'un restaurant pour connaître le prix d'une petite portion de frites, un humain ouvrirait simplement la rubrique « Menu » et trouverait la bonne ligne. L'agent fonctionne autrement : l'outil lui fournit du HTML, du texte nettoyé ou une capture d'écran, et ce pour le menu entier. Les burgers et les boissons se retrouvent donc dans le contexte avec les frites.
L'équipe Deckard a tenté de résoudre ce problème avec une table des matières pour agents et a publié un générateur open source, agent-sitemap. Lors d'une mesure d'essai, Claude Code équipé de cette carte a téléchargé 58% de texte en moins (24 627 caractères au lieu de 58 439). En revanche, les tokens d'entrée, c'est-à-dire le volume que le modèle a lu et que vous payez, ont augmenté de 3,5%.
Pour un développeur, cela signifie une seule chose : réduire la taille des pages téléchargées ne revient pas encore à économiser sur les requêtes au modèle.
Comment fonctionne la carte
Le fichier sitemap.xml indique quelles pages existent sur le site, mais pas où se trouvent les frites dans le menu. Un fichier llms.txt peut décrire des liens et servir des versions Markdown des pages. Seulement, un long menu reste long une fois la page ouverte, simplement sans le HTML.
Le générateur procède autrement : il crée un fichier Markdown distinct pour chaque section. L'index (index.md) mène à une fiche de page ; cette fiche, avec une introduction et la liste des sections, mène à la note d'une section ; et celle-ci renvoie vers des contenus voisins. L'agent ouvre l'index, entre dans « Menu », choisit « Pommes de terre et en-cas » d'après la description, et ne lit ni les burgers ni les boissons. La note conserve l'adresse de la page d'origine, afin de pouvoir la citer et vérifier le prix. Le générateur écrit les mêmes relations dans graph.json, pour ceux qui exploitent la carte depuis leur propre code.
En entrée, il accepte des fichiers HTML et Markdown locaux, ou un site doté de son propre sitemap.xml. Le texte est découpé selon les titres de deuxième niveau (##).
Une partie des relations existe déjà dans le document : une page contient des sections, une section suit l'autre, et l'auteur a pu lui-même renvoyer vers une page voisine. Les relations manquantes sont trouvées en comparant les mots entre les pages (TF-IDF et similarité cosinus). Des faux positifs sont possibles : le mot « livraison » apparaît aussi souvent dans les tarifs que dans les règles de retour.
C'est pourquoi on peut activer une passe avec un LLM, qui rédige de courtes explications pour les notes et écarte une partie des relations détectées par les mots. Les liens posés par l'auteur sont conservés.
Ce que montre la mesure
Le README du projet contient un essai : deux questions posées au site de Deckard, dont les réponses sont enfouies dans de longs articles. Claude Code partait soit de la page d'accueil, soit de l'index de la carte, pouvait utiliser curl et savait que le site servait du Markdown. Un modèle a vérifié l'exactitude à partir de réponses de référence définies à l'avance, et les quatre réponses ont été validées.
Avec la carte, l'agent a effectué 6 requêtes HTTP au lieu de 9 et téléchargé 24 627 caractères au lieu de 58 439. Pour la question developer, on obtient 33 029 tokens contre 31 828 sans carte ; pour la question ship, 31 958 contre 30 983. Au total, 64 987 contre 62 811, soit une hausse d'environ 3,5%.
L'auteur explique lui-même cet écart. Le compteur de caractères ne prend en compte que le contenu des réponses HTTP. Le compteur de tokens d'entrée inclut en plus tout le reste du contexte que le modèle reçoit à chaque étape. De plus, le banc d'essai additionne les tokens d'entrée ordinaires, l'écriture dans le cache et la lecture du cache, alors que leurs tarifs diffèrent. Le tableau montre donc la quantité de texte servie par le site, mais pas le coût de la réponse. Pour le savoir, il faut examiner séparément les parcours de l'agent et le rapport par catégorie de tokens.
Autre réserve : la mention « environ N tokens » à côté d'un lien est calculée à partir du nombre de caractères, avec des coefficients différents pour le cyrillique et pour le reste du texte, sans le tokenizer d'un modèle précis. L'estimation porte sur le texte principal, alors que le fichier contient aussi des titres, des métadonnées et des liens, qui peuvent être plus longs que la section elle-même dans une note courte.
Que faire en pratique
Mieux vaut tirer des conclusions avec prudence : il s'agit d'un seul lancement, de deux questions et d'un seul agent. Un assistant doté d'une recherche web classique et d'un navigateur peut suivre un autre itinéraire. La mesure manque de deux variantes de contrôle : un llms.txt avec des pages Markdown entières (pour isoler l'effet du seul nettoyage du HTML) et l'accès direct à la bonne page. Si celle-ci tient en deux paragraphes, passer par l'index et la fiche est presque certainement plus long que de la lire en entier.
Pour tester chez soi, l'auteur conseille de prendre 10 à 30 questions réelles et de répéter chacune plusieurs fois dans les mêmes conditions. Que certaines réponses se trouvent dans une seule section, que d'autres nécessitent plusieurs pages, et que pour d'autres encore le site ne contienne aucune réponse. Il faut mesurer l'exactitude de la réponse et la citation de la source, le nombre de requêtes, le volume de texte téléchargé, le temps et le coût. Mieux vaut consigner séparément le temps que prend la vérification des réponses par le modèle.
Le lancement est simple : npx agent-sitemap https://example.com génère un répertoire ai. On le publie à côté du site, on vérifie que /ai/index.md s'ouvre, puis on transmet explicitement cette adresse à l'agent. Ainsi, le résultat de la navigation par la carte ne se mélange pas avec la question de savoir si l'agent a trouvé la carte.
Les risques sont eux aussi clairs. Une règle et son exception peuvent se retrouver dans des notes différentes, et l'agent ne répondra alors qu'à moitié juste. Un titre comme « Informations complémentaires » n'indique rien sur le contenu. La copie Markdown peut prendre du retard sur le site, c'est pourquoi, pour les prix, il vaut mieux consulter la page en ligne ou l'API. Enfin, le texte des notes vient de l'extérieur, comme n'importe quelle page web : les instructions qu'il contient ne doivent pas être prises pour des ordres de l'utilisateur. Le code est ouvert sous licence MIT, et le dépôt s'appelle agent-sitemap.
- 19 nov. 2026RSAC 2026, avec le recul : les assistants IA ont inventé 19,7% des paquets recommandés
- 19 nov. 2026Les agents Codex ont mené 1700 enquêtes sur les ralentissements de ChatGPT et identifié la cause dans 600 cas
- 19 nov. 2026Le modèle ouvert DaisyRose-27B résout 12% des tâches de Terminal-Bench, contre 5,6%
- 19 nov. 2026La même Gemma 4 écrit un backend à 80% dans opencode, mais seulement à 41% dans OpenHands
Questions clés sur cet article
Comment fonctionne la carte?
Le fichier sitemap.xml indique quelles pages existent sur le site, mais pas où se trouvent les frites dans le menu. Un fichier llms.txt peut décrire des liens et servir des versions Markdown des pages. Seulement, un long menu reste long une fois la page ouverte, simplement sans le HTML. Le générateur procède autrement : il crée un fichier Markdown distinct pour chaque section.
Que sait-on sur Ce que montre la mesure ?
Le README du projet contient un essai : deux questions posées au site de Deckard, dont les réponses sont enfouies dans de longs articles. Claude Code partait soit de la page d'accueil, soit de l'index de la carte, pouvait utiliser curl et savait que le site servait du Markdown. Un modèle a vérifié l'exactitude à partir de réponses de référence définies à l'avance, et les quatre réponses ont été validées.
Que sait-on sur Que faire en pratique ?
Mieux vaut tirer des conclusions avec prudence : il s'agit d'un seul lancement, de deux questions et d'un seul agent. Un assistant doté d'une recherche web classique et d'un navigateur peut suivre un autre itinéraire. La mesure manque de deux variantes de contrôle : un llms.txt avec des pages Markdown entières (pour isoler l'effet du seul nettoyage du HTML) et l'accès direct à la bonne page.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.