Crawl4AI очищает веб-страницы для RAG и ограничивает обход 25 документами

У RAG-систем есть неприятная особенность: дорогая модель не спасает, если в базу знаний попали меню, футеры, повторяющиеся блоки и случайные страницы. Пользователь спрашивает о возврате товара, а поиск приносит ему навигацию сайта и список похожих материалов. Ответ выглядит уверенно, но опирается не на тот текст.

AWS показала практический конвейер для таких случаев: Crawl4AI обходит разрешённые страницы, очищает их, сохраняет основное содержание в Markdown и добавляет к каждому документу метаданные. Файлы попадают в S3, а Amazon Bedrock Knowledge Bases уже берёт на себя разбиение, эмбеддинги, индексирование и поиск.

Когда встроенного краулера достаточно

AWS советует начинать со штатного Amazon Bedrock Web Crawler. Ему передают исходные адреса или карты сайта, задают границы обхода и частоту запросов. Он соблюдает robots.txt, умеет ждать содержимое, загружаемое JavaScript, а после первого полного прохода синхронизирует только добавленные, изменённые и удалённые страницы.

Это разумный вариант для документации или справочного сайта, где полезный текст уже хорошо отделён от оформления. Не нужно разворачивать собственный краулер, хранить его состояние и следить за масштабированием.

Crawl4AI появляется там, где нужен контроль до загрузки. Например, на странице городской услуги есть шапка, каталог разделов, новости и только один блок с правилами получения разрешения. Конвейер может выбрать этот блок CSS-селектором, убрать остальной шум и сохранить заголовки, списки и таблицы в Markdown. К документу можно приложить исходный адрес, время обхода, тип содержимого и собственную категорию — затем эти поля пригодятся для фильтрации поиска.

Как устроен конвейер

По расписанию EventBridge запускает задачу ECS на Fargate. Она читает настройки из Systems Manager Parameter Store, обходит заданные сайты и проверяет границы не только для исходных адресов, но и после перенаправлений. Ширину обхода можно ограничить доменом, путём, глубиной, шаблонами URL и максимальным числом страниц. Это защищает от ситуации, когда краулер неожиданно уходит в соседний раздел или начинает собирать весь сайт.

Для каждой успешно обработанной страницы создаются два файла: документ Markdown и соседний файл вида page.md.metadata.json. Именно такое имя ожидает источник S3 в Bedrock. Размер файла метаданных ограничен 10 КБ; пример AWS останавливает обработку до записи обоих файлов, если лимит превышен.

После загрузки текущего набора документов задача запускает ingestion job. Bedrock разбирает новые материалы, создаёт фрагменты и эмбеддинги, а затем обновляет векторный индекс. В управляемой базе знаний хранилище масштабирует сам сервис.

Что проверить до продакшена

Главная ловушка — разбиение документов. В управляемой базе знаний стандартный режим создаёт фрагменты по 300 токенов с перекрытием 20%. Можно задать другой фиксированный размер или вообще отключить разбиение для заранее подготовленных файлов. Но выбранную стратегию нельзя поменять у существующего источника: для эксперимента придётся создать новый.

Поэтому сначала возьмите несколько типичных страниц и набор реальных вопросов пользователей. Сравните встроенный Web Crawler с очищенным Markdown, проверьте найденные фрагменты и ссылки на источники. Эвристический фильтр Crawl4AI способен удалить не только навигацию, но и полезный блок, поэтому представительную выборку нужно просмотреть вручную.

Этот пример рассчитан на пакетную загрузку известных публичных сайтов, а не на доступ к интернету во время ответа. Авторизованные разделы тоже потребуют отдельной работы с сессиями, Secrets Manager и безопасностью. Практический вывод простой: начинайте со штатного краулера Bedrock, а Crawl4AI добавляйте лишь тогда, когда очистка, точное извлечение и собственные метаданные заметно улучшают ответы на ваших контрольных вопросах.