El mapa del sitio para agentes de IA redujo el texto descargado un 58%, pero los tokens aumentaron un 3,5%
Pregunte a un agente por el precio de las patatas fritas y el sitio le entregará el menú completo. El equipo de Deckard ha creado agent-sitemap, un generador que divide un sitio en notas Markdown con enlaces, a modo de índice. Con ese mapa, Claude Code hizo 6 peticiones en lugar de 9 y descargó un 58% menos de texto, pero los tokens de entrada aumentaron un 3,5%. Por eso el ahorro debe medirse en tokens y caché, no en el tamaño de las páginas.
Procesado por IA desde Habr AI; editado por Hamidun News
Si le pide a un agente de IA que entre en la web de un restaurante y averigüe el precio de una ración pequeña de patatas fritas, una persona simplemente abriría la sección «Menú» y buscaría la línea correcta. Un agente funciona de otra manera: la herramienta le entrega HTML, texto limpio o una captura de pantalla, y además del menú completo, de modo que las hamburguesas y las bebidas entran en el contexto junto con las patatas. El equipo de Deckard intentó resolverlo con un índice pensado para agentes y publicó el generador abierto agent-sitemap.
En una medición de prueba, Claude Code con este mapa descargó un 58% menos de texto (24 627 caracteres en lugar de 58 439), pero los tokens de entrada, es decir, el volumen que el modelo leyó y por el que usted paga, aumentaron un 3,5%. Para un desarrollador, la conclusión es una sola: reducir el tamaño de las páginas descargadas no equivale a ahorrar en las peticiones al modelo.
Cómo funciona el mapa
El archivo sitemap.xml indica qué páginas existen en el sitio, pero no muestra dónde está la ración de patatas dentro del menú. El archivo llms.txt puede describir enlaces y servir versiones Markdown de las páginas, pero un menú largo sigue siendo largo al entrar en él, solo que sin HTML.
El generador hace otra cosa: crea un archivo Markdown independiente para cada sección. El índice (index.md) lleva a la ficha de una página; la ficha, con una introducción y una lista de secciones, lleva a la nota de una sección; y esta, a materiales relacionados. El agente abre el índice, entra en «Menú», elige «Patatas y entrantes» a partir de la descripción y no lee las hamburguesas ni las bebidas. La nota conserva la dirección de la página original, para poder citarla y comprobar el precio. El generador escribe esas mismas relaciones en graph.json, para quienes lean el mapa desde su propio código.
La entrada son archivos HTML y Markdown locales, o bien un sitio con su propio sitemap.xml. El texto se divide por los encabezados de segundo nivel (##).
Parte de las relaciones ya existe en el documento: la página contiene secciones, una sección sigue a otra y el autor pudo haber enlazado por su cuenta a una página vecina. Las relaciones que faltan se encuentran comparando palabras entre páginas (TF-IDF y similitud del coseno). Aquí son posibles las coincidencias falsas: la palabra «envío» aparece con la misma frecuencia en las tarifas y en las condiciones de devolución.
Por eso se puede activar un paso con un LLM, que escribe breves explicaciones para las notas y descarta una parte de las relaciones halladas por palabras. Los enlaces del autor se conservan.
Qué mostró la medición
El README del proyecto incluye una ejecución de prueba: dos preguntas sobre el sitio de Deckard cuyas respuestas están ocultas dentro de artículos largos. Claude Code partía de la página principal o del índice del mapa, podía usar curl y sabía que el sitio servía Markdown. La corrección la verificó un modelo con respuestas de referencia fijadas de antemano, y las cuatro respuestas se dieron por válidas.
Con el mapa, el agente hizo 6 peticiones HTTP en lugar de 9 y descargó 24 627 caracteres en lugar de 58 439. En la pregunta sobre developer, los tokens fueron 33 029 frente a 31 828 sin mapa; en la pregunta sobre ship, 31 958 frente a 30 983. En total, 64 987 frente a 62 811: un aumento de alrededor del 3,5%.
El propio autor explica la discrepancia. El contador de caracteres solo cuenta el contenido de las respuestas HTTP. El contador de tokens de entrada incluye también el resto del contexto que el modelo recibe en cada paso. Además, el banco de pruebas suma los tokens de entrada normales, la escritura en caché y la lectura de caché, aunque tienen precios distintos. Por eso la tabla muestra cuánto texto entregó el sitio, pero no cuánto costó la respuesta. Para saberlo hay que examinar por separado los recorridos del agente y el informe por categorías de tokens.
Otra salvedad: la etiqueta «aproximadamente N tokens» junto a un enlace se calcula por caracteres, con coeficientes distintos para el cirílico y para el resto del texto, sin el tokenizador de ningún modelo concreto. La estimación incluye el texto principal, aunque el archivo contiene además encabezados, metadatos y enlaces, que en una nota corta pueden ocupar más que la propia sección.
Qué hacer en la práctica
Conviene sacar conclusiones con cautela: se trata de una sola ejecución, dos preguntas y un agente. Un asistente con búsqueda web y navegador convencionales puede seguir otra ruta. A la medición le faltan dos variantes de control: llms.txt con páginas Markdown completas (para ver el efecto de limpiar solo el HTML) y la página correcta desde el principio. Si esa página tiene dos párrafos, el camino por el índice y la ficha es casi seguro más largo que leerla entera.
Para su propia prueba, el autor aconseja tomar de 10 a 30 preguntas reales y repetir cada una varias veces en las mismas condiciones. Que parte de las respuestas esté en una sola sección, que otra parte requiera varias páginas y que para una parte el sitio no tenga respuesta alguna. Hay que medir la corrección de la respuesta y el enlace a la fuente, el número de peticiones, el volumen de texto descargado, el tiempo y el dinero. El tiempo que el modelo dedica a verificar las respuestas conviene registrarlo aparte.
La puesta en marcha es sencilla: npx agent-sitemap https://example.com genera el directorio ai. Se publica junto al sitio, se comprueba que /ai/index.md se abre y se le pasa esa dirección al agente de forma explícita. Así, el resultado de navegar por el mapa no se mezcla con la cuestión de si el agente llegó a encontrar el mapa.
Los riesgos también están claros. La regla y su excepción pueden acabar en notas distintas, y el agente responderá correctamente solo a medias. Un encabezado como «Información adicional» no dice nada sobre el contenido. La copia en Markdown puede quedarse desactualizada respecto al sitio, así que para los precios es mejor acudir a la página en vivo o a la API. Y el texto de las notas llega del exterior, como cualquier página web, de modo que las instrucciones que contenga no deben tomarse por órdenes del usuario. El código es abierto, con licencia MIT, y el repositorio se llama agent-sitemap.
- 19 nov 2026Юрист научил ИИ-агента вносить точечные правки в Word в режиме Track Changes
- 19 nov 2026RSAC 2026, meses después: los asistentes de IA inventaron el 19,7% de los paquetes que recomendaron
- 19 nov 2026FT: para rentabilizar contratos por $1 billón, Anthropic necesita ingresos de $602 mil millones al año
- 19 nov 2026Anthropic sale a bolsa y recauda $81,3 mil millones: supera el récord de $75 mil millones de SpaceX
Preguntas frecuentes sobre la noticia
Cómo funciona el mapa?
El archivo sitemap.xml indica qué páginas existen en el sitio, pero no muestra dónde está la ración de patatas dentro del menú. El archivo llms.txt puede describir enlaces y servir versiones Markdown de las páginas, pero un menú largo sigue siendo largo al entrar en él, solo que sin HTML. El generador hace otra cosa: crea un archivo Markdown independiente para cada sección.
¿Qué se sabe sobre Qué mostró la medición?
El README del proyecto incluye una ejecución de prueba: dos preguntas sobre el sitio de Deckard cuyas respuestas están ocultas dentro de artículos largos. Claude Code partía de la página principal o del índice del mapa, podía usar curl y sabía que el sitio servía Markdown. La corrección la verificó un modelo con respuestas de referencia fijadas de antemano, y las cuatro respuestas se dieron por válidas. Con el mapa, el agente hizo 6 peticiones HTTP en lugar de 9 y descargó 24 627 caracteres en lugar de 58 439.
¿Qué se sabe sobre Qué hacer en la práctica?
Conviene sacar conclusiones con cautela: se trata de una sola ejecución, dos preguntas y un agente. Un asistente con búsqueda web y navegador convencionales puede seguir otra ruta. A la medición le faltan dos variantes de control: llms.txt con páginas Markdown completas (para ver el efecto de limpiar solo el HTML) y la página correcta desde el principio. Si esa página tiene dos párrafos, el camino por el índice y la ficha es casi seguro más largo que leerla entera.
Build & Ship Production AI Agents Without Boilerplate Code
Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.