Crawl4AI nettoie les pages web pour le RAG et limite l'exploration à 25 documents

Les systèmes RAG ont un défaut gênant : un modèle coûteux n'y changera rien si la base de connaissances contient des menus, des pieds de page, des blocs répétitifs et des pages aléatoires. L'utilisateur s'interroge sur le retour d'un produit, et la recherche lui renvoie la navigation du site et une liste de contenus similaires. La réponse paraît assurée, mais repose sur le mauvais texte.

AWS a présenté un pipeline pratique pour ces situations : Crawl4AI parcourt les pages autorisées, les nettoie, enregistre le contenu principal en Markdown et ajoute des métadonnées à chaque document. Les fichiers sont déposés dans S3, puis Amazon Bedrock Knowledge Bases prend en charge le découpage, les embeddings, l'indexation et la recherche.

Quand le crawler intégré suffit

AWS recommande de commencer par l'Amazon Bedrock Web Crawler standard. On lui fournit des adresses de départ ou des plans de site, on définit les limites d'exploration et la fréquence des requêtes. Il respecte le fichier robots.txt, sait attendre le contenu chargé par JavaScript et, après un premier passage complet, ne synchronise que les pages ajoutées, modifiées et supprimées.

C'est une option raisonnable pour une documentation ou un site d'aide où le texte utile est déjà bien séparé de la mise en page. Inutile de déployer son propre crawler, de gérer son état et de surveiller sa mise à l'échelle.

Crawl4AI intervient lorsqu'il faut garder la main avant le chargement. Par exemple, sur la page d'un service municipal, on trouve un en-tête, un catalogue de rubriques, des actualités et un seul bloc consacré aux règles d'obtention d'une autorisation. Le pipeline peut sélectionner ce bloc par un sélecteur CSS, supprimer le reste du bruit et conserver titres, listes et tableaux en Markdown. On peut joindre au document l'adresse source, l'heure de l'exploration, le type de contenu et une catégorie personnalisée, des champs utiles ensuite pour filtrer la recherche.

Comment fonctionne le pipeline

Selon un calendrier, EventBridge lance une tâche ECS sur Fargate. Elle lit sa configuration dans Systems Manager Parameter Store, parcourt les sites indiqués et vérifie les limites non seulement pour les adresses de départ, mais aussi après les redirections. L'étendue de l'exploration peut être restreinte par domaine, chemin, profondeur, modèles d'URL et nombre maximal de pages. Cela évite que le crawler dérive vers une section voisine ou se mette à aspirer tout le site.

Pour chaque page traitée avec succès, deux fichiers sont créés : un document Markdown et un fichier voisin du type page.md.metadata.json. C'est précisément ce nom qu'attend la source S3 dans Bedrock. La taille du fichier de métadonnées est limitée à 10 Ko ; dans l'exemple d'AWS, le traitement s'interrompt avant l'écriture des deux fichiers si cette limite est dépassée.

Une fois l'ensemble courant de documents chargé, la tâche lance un ingestion job. Bedrock analyse les nouveaux contenus, crée les fragments et les embeddings, puis met à jour l'index vectoriel. Dans une base de connaissances gérée, le service assure lui-même la mise à l'échelle du stockage.

À vérifier avant la production

Le principal piège tient au découpage des documents. Dans une base de connaissances gérée, le mode par défaut crée des fragments de 300 tokens avec un chevauchement de 20 %. On peut définir une autre taille fixe, voire désactiver complètement le découpage pour des fichiers préparés à l'avance. Mais la stratégie choisie ne peut pas être modifiée sur une source existante : pour tester une autre approche, il faudra en créer une nouvelle.

Commencez donc par prendre quelques pages typiques et un ensemble de vraies questions d'utilisateurs. Comparez le Web Crawler intégré avec le Markdown nettoyé, puis examinez les fragments retrouvés et les liens vers les sources. Le filtre heuristique de Crawl4AI peut supprimer non seulement la navigation, mais aussi un bloc utile ; un échantillon représentatif doit donc être relu manuellement.

Cet exemple est conçu pour le chargement par lots de sites publics connus, et non pour un accès à Internet au moment de la réponse. Les sections authentifiées exigeront elles aussi un travail distinct sur les sessions, Secrets Manager et la sécurité. La conclusion pratique est simple : commencez par le crawler standard de Bedrock, et n'ajoutez Crawl4AI que si le nettoyage, l'extraction précise et des métadonnées personnalisées améliorent nettement les réponses à vos questions de contrôle.