Olostep : un crawler de documentation pour préparer les données destinées à l'IA

Olostep est un outil de crawling automatique de sites de documentation technique. Quelques lignes de code remplacent des heures de copie manuelle : l'outil parcourt toutes les pages, supprime le HTML superflu et renvoie un texte propre et structuré, prêt à être transmis à un modèle de langage ou à une base de données vectorielle.

Le crawling de documentation est une tâche courante et fastidieuse dans le développement d'agents IA, de chatbots de support et de systèmes RAG (Retrieval-Augmented Generation). Il faut parcourir des centaines de pages et retirer la navigation, les en-têtes, les bandeaux de cookies et les éléments répétitifs. On y répond généralement par des scripts maison en BeautifulSoup ou Scrapy, qui fonctionnent jusqu'à la première refonte du site. Olostep propose une API prête à l'emploi : on lui fournit une URL de départ et une profondeur d'exploration, et l'outil s'occupe du reste automatiquement.

Son principal avantage sur les crawlers classiques est un nettoyage intelligent du contenu, intégré. La plupart des parseurs renvoient du HTML brut qu'il faut ensuite retraiter. Olostep extrait lui-même l'utile : titres, paragraphes, exemples de code. En-têtes, barres latérales, scripts et blocs publicitaires sont supprimés automatiquement. C'est crucial pour la qualité d'un RAG : un contenu parasite réduit la précision de la recherche dans l'index vectoriel et dégrade les réponses finales du modèle. Plus les données d'entrée sont propres, plus l'assistant est précis.

L'outil prend en charge trois formats de sortie. Le Markdown est optimal pour les LLM : la structure du document est conservée et les blocs de code restent lisibles. Le JSON sert au traitement programmatique et au stockage en base de données avec des métadonnées (URL de la page, titre, profondeur d'imbrication, heure de collecte). Le texte brut convient aux scénarios simples, sans balisage supplémentaire.

On peut aussi configurer un filtrage par motifs d'URL : ne crawler que /docs/ et /api-reference/, ignorer /blog/ et /changelog/, et définir une profondeur maximale de récursion.

Un exemple pratique tiré de KDnuggets montre comment, avec dix lignes de code Python, on peut collecter toute la documentation d'une bibliothèque publique, la convertir en Markdown et l'enregistrer dans des fichiers en vue d'un traitement ultérieur. La suite habituelle consiste à découper le texte en chunks, générer des embeddings et les charger dans un magasin vectoriel (Chroma, Pinecone, Weaviate). Résultat : un assistant d'entreprise qui répond aux questions sur la documentation avec des liens précis vers la source.

Olostep s'inscrit dans le marché en plein essor du Data Prep for AI, c'est-à-dire des outils de préparation de données pour les modèles de langage. Les équipes en entreprise consacrent jusqu'à 60 % du temps d'un projet d'IA non pas au paramétrage du modèle, mais à la collecte et au nettoyage du contenu source. Des données mal nettoyées (navigation, blocs publicitaires, artefacts HTML) dégradent directement la qualité de la recherche dans un RAG et réduisent la confiance dans le système d'IA. Des API prêtes à l'emploi comme Olostep abaissent cette barrière pour les équipes sans expertise approfondie en ingénierie des données.

L'outil a un intérêt particulier pour les équipes qui entretiennent des bases de connaissances vivantes. La documentation évolue à chaque version du produit : de nouvelles sections apparaissent, les anciennes deviennent obsolètes, la structure du site change. Maintenir une base vectorielle à jour à la main n'est pas réaliste. Olostep peut être intégré à un pipeline CI/CD ou lancé selon un calendrier : à chaque déploiement de la documentation, l'agent IA reçoit automatiquement les données actualisées, sans intervention manuelle.

Dans un champ concurrentiel qui comprend Crawl4AI, Firecrawl et Jina Reader, des outils similaires ont déjà réuni des dizaines de milliers d'étoiles sur GitHub. Olostep mise sur la simplicité d'intégration, une sortie propre et prévisible et un minimum de code répétitif. Pour les équipes qui veulent ajouter rapidement une recherche IA sur leur documentation sans écrire leur propre parseur, c'est l'un des chemins les plus courts entre l'idée et un prototype fonctionnel.