Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Карта сайта для ИИ-агента сократила скачанный текст на 58%, но токенов стало на 3,5% больше

Спросите агента про цену картошки фри — сайт отдаст ему всё меню целиком. Команда Deckard сделала генератор agent-sitemap: он режет сайт на Markdown-заметки со ссылками, как оглавление. Claude Code с такой картой сделал 6 запросов вместо 9 и скачал на 58% меньше текста, но входных токенов стало на 3,5% больше. Поэтому экономию надо мерить по токенам и кешу, а не по размеру страниц.

AI-обработка оригинала Habr AI; редакция Hamidun News
Карта сайта для ИИ-агента сократила скачанный текст на 58%, но токенов стало на 3,5% больше
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Текста скачано 24 627 символов против 58 439 без карты
Входных токенов 64 987 против 62 811счётчик суммирует и кеш
Код открыт под MITnpx agent-sitemap https://example.com

Когда вы просите ИИ-агента зайти на сайт ресторана и узнать цену маленькой картошки фри, человек бы просто открыл раздел «Меню» и нашёл нужную строку. Агент устроен иначе: инструмент отдаёт ему HTML, очищенный текст или скриншот, причём меню целиком, и бургеры с напитками попадают в контекст вместе с картошкой. Команда Deckard попробовала решить это оглавлением для агентов и выложила открытый генератор agent-sitemap. В пробном замере Claude Code с такой картой скачал на 58% меньше текста (24 627 символов вместо 58 439), но входных токенов, то есть объёма, который модель прочитала и за который вы платите, стало на 3,5% больше. Для разработчика это значит одно: сократить размер скачанных страниц ещё не значит сэкономить на запросах к модели.

Как устроена карта

Файл sitemap.xml говорит, какие страницы есть на сайте, но не показывает, где внутри меню лежит картошка. Файл llms.txt может описать ссылки и отдать Markdown-версии страниц, однако длинное меню после перехода остаётся длинным, просто без HTML.

Генератор делает иначе: на каждый раздел создаётся отдельный Markdown-файл. Индекс (index.md) ведёт на карточку страницы, карточка со вступлением и списком разделов — на заметку раздела, а та — на соседние материалы. Агент открывает индекс, заходит в «Меню», по описанию выбирает «Картофель и закуски» и не читает бургеры с напитками. В заметке остаётся адрес исходной страницы, чтобы сослаться на него и проверить цену. Те же связи генератор пишет в graph.json для тех, кто читает карту из своего кода.

На входе — локальные HTML и Markdown либо сайт со своим sitemap.xml. Текст делится по заголовкам второго уровня (##). Часть связей уже есть в документе: страница содержит разделы, один раздел идёт за другим, автор мог сам сослаться на соседнюю страницу. Недостающие связи находятся сравнением слов на разных страницах (TF-IDF и косинусная близость). Тут возможны ложные совпадения: слово «доставка» одинаково часто встречается и в тарифах, и в правилах возврата. Поэтому можно включить проход с LLM, который пишет короткие пояснения к заметкам и отсеивает часть связей, найденных по словам. Авторские ссылки при этом остаются.

Что показал замер

В README проекта есть пробный прогон: два вопроса к сайту Deckard, ответы на которые спрятаны внутри длинных статей. Claude Code стартовал либо с главной страницы, либо с индекса карты, мог пользоваться curl и знал, что сайт отдаёт Markdown. Правильность проверяла модель по заранее заданным эталонам, и все четыре ответа засчитаны.

С картой агент сделал 6 HTTP-запросов вместо 9 и скачал 24 627 символов вместо 58 439. По вопросу developer токенов вышло 33 029 против 31 828 без карты, по вопросу ship — 31 958 против 30 983. В сумме 64 987 против 62 811, прирост около 3,5%.

Автор сам объясняет расхождение. Счётчик символов считает только содержимое HTTP-ответов. Счётчик входных токенов включает и весь остальной контекст, который модель получает на каждом шаге. Кроме того, стенд складывает обычные входные токены, запись в кеш и чтение из кеша, хотя стоят они по-разному. Поэтому таблица показывает, сколько текста отдал сайт, но не сколько стоил ответ. Чтобы это понять, нужно смотреть проходы агента и отчёт по категориям токенов отдельно.

Ещё одна оговорка: подпись «примерно N токенов» рядом со ссылкой считается по символам, с разными коэффициентами для кириллицы и остального текста, без токенизатора конкретной модели. В оценку входит основной текст, хотя в файле есть ещё заголовки, метаданные и ссылки, а в короткой заметке они могут быть длиннее самого раздела.

Что делать на практике

Выводы стоит делать осторожно: это один запуск, два вопроса и один агент. Ассистент с обычным веб-поиском и браузером может пройти маршрут иначе. В замере не хватает двух контрольных вариантов: llms.txt с целыми Markdown-страницами (чтобы увидеть эффект одной очистки HTML) и сразу правильной страницы. Если на ней два абзаца, путь через индекс и карточку почти наверняка дольше, чем прочитать её целиком.

Для своей проверки автор советует взять 10–30 реальных вопросов и повторить каждый несколько раз в одинаковых условиях. Часть ответов пусть лежит в одном разделе, часть требует нескольких страниц, а на часть ответа на сайте нет вовсе. Считать нужно правильность ответа и ссылку на источник, число запросов, объём скачанного текста, время и деньги. Время проверки ответов моделью лучше записывать отдельно.

Запуск простой: npx agent-sitemap https://example.com собирает каталог ai. Его выкладывают рядом с сайтом, проверяют, что открывается /ai/index.md, и передают агенту этот адрес явно. Тогда результат навигации по карте не смешается с вопросом, нашёл ли агент карту вообще.

Риски тоже понятны. Правило и исключение могут попасть в разные заметки, и агент ответит верно только наполовину. Заголовок «Дополнительная информация» ничего не говорит о содержимом. Копия Markdown может отстать от сайта, поэтому за ценами лучше идти на живую страницу или в API. А текст заметок приходит извне, как любая веб-страница, так что инструкции внутри него нельзя принимать за команды пользователя. Код открыт под лицензией MIT, репозиторий называется agent-sitemap.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроена карта?

Файл sitemap.xml говорит, какие страницы есть на сайте, но не показывает, где внутри меню лежит картошка. Файл llms.txt может описать ссылки и отдать Markdown-версии страниц, однако длинное меню после перехода остаётся длинным, просто без HTML. Генератор делает иначе: на каждый раздел создаётся отдельный Markdown-файл. Индекс (index.md) ведёт на карточку страницы, карточка со вступлением и списком разделов — на заметку раздела, а та — на соседние материалы.

Что известно по теме: что показал замер?

В README проекта есть пробный прогон: два вопроса к сайту Deckard, ответы на которые спрятаны внутри длинных статей. Claude Code стартовал либо с главной страницы, либо с индекса карты, мог пользоваться curl и знал, что сайт отдаёт Markdown. Правильность проверяла модель по заранее заданным эталонам, и все четыре ответа засчитаны. С картой агент сделал 6 HTTP-запросов вместо 9 и скачал 24 627 символов вместо 58 439.

Что известно по теме: что делать на практике?

Выводы стоит делать осторожно: это один запуск, два вопроса и один агент. Ассистент с обычным веб-поиском и браузером может пройти маршрут иначе. В замере не хватает двух контрольных вариантов: llms.txt с целыми Markdown-страницами (чтобы увидеть эффект одной очистки HTML) и сразу правильной страницы. Если на ней два абзаца, путь через индекс и карточку почти наверняка дольше, чем прочитать её целиком.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…