Un passionné monte sur un GPU T4 un chatbot RAG basé sur les manuels d'éducation civique de 3e et de seconde

À la prochaine rentrée, les écoles passent à des manuels uniques d'éducation civique, et la réponse d'un élève est vérifiée d'après le texte du manuel, et non d'après le simple bon sens. Une architecture RAG classique convient à ce mode de fonctionnement : le bot ne raisonne pas « en général », il extrait des passages du livre et répond à partir d'eux. L'auteur d'une publication sur Habr a monté un tel prototype pour les manuels des classes de 9e et 10e années. Il indique la page d'où provient la réponse et tourne sur un GPU Nvidia T4 gratuit, doté de 16 Go de mémoire.

Les composants du prototype

La pile est entièrement open source et tient sur un seul accélérateur. L'analyse des PDF est confiée à pymupdf4llm, qui transforme les pages en Markdown balisé et conserve la structure des titres et des paragraphes. Pour un manuel, c'est important : les paragraphes, les définitions et les encadrés portent du sens, et si l'on découpe le texte à l'aveugle, la recherche se met à renvoyer des fragments inexploitables.

Vient ensuite un assemblage classique. multilingual-e5-large calcule les embeddings, et FAISS gère l'index ainsi que la recherche des fragments les plus proches. La réponse est formulée par Qwen2.5-3B, un petit modèle d'Alibaba de 3 milliards de paramètres.

• Analyse des PDF : pymupdf4llm
• Recherche vectorielle : FAISS
• Embeddings : multilingual-e5-large (environ 560 millions de paramètres, vecteur de dimension 1024)
• Génération : Qwen2.5-3B
• Matériel : Nvidia T4, 16 Go de VRAM, offre gratuite des notebooks cloud
• Corpus : manuels d'éducation civique des classes de 9e et 10e années

Pourquoi citer la page

La fonction principale du bot n'est pas de reformuler, mais d'attribuer. Quand la note dépend des formulations d'un manuel précis, l'élève et l'enseignant n'ont pas besoin d'une réponse « plausible », mais d'une réponse vérifiable. Le numéro de page transforme la sortie du modèle en piste que l'on peut ouvrir et confronter au livre en quelques secondes. Pour un modèle de 3 milliards de paramètres, c'est aussi un garde-fou. Ces modèles confondent nettement plus souvent les détails et extrapolent lorsque le contexte est maigre. L'ancrage strict dans les fragments retrouvés réduit ce risque, mais ne le supprime pas complètement.

Le choix du modèle s'explique aussi. Qwen2.5-3B en demi-précision occupe environ 6 Go, et l'encodeur d'embeddings environ 1 Go de plus : les deux tiennent donc sur le T4, avec de la marge pour le contexte. E5 multilingue reste un choix courant parmi les modèles d'embeddings ouverts pour le russe. Il exige les préfixes query et passage, sans lesquels la qualité de la recherche chute.

L'annonce ne contient aucune mesure : ni proportion de réponses correctes, ni précision de la recherche, ni vitesse de génération. Il faut donc, pour l'instant, considérer ce prototype comme une architecture fonctionnelle, et non comme un produit éprouvé.

Comment reproduire le projet et à quoi veiller

Si vous voulez construire un système similaire pour vos propres supports pédagogiques, voici la marche à suivre :

• Convertissez les PDF en Markdown et vérifiez à la main quelques pages comportant des tableaux, des schémas et des notes de bas de page. C'est là que les parseurs échouent le plus souvent.
• Découpez le texte en blocs de sens (paragraphe, point) plutôt qu'en un nombre fixe de caractères, et stockez le numéro de page dans les métadonnées. Sans cela, la citation de la source est impossible.
• Constituez un petit jeu de questions de contrôle, par exemple 50 à 100, avec les pages de référence. Il permet de mesurer si le bon fragment figure dans le top 3 ou le top 5 des résultats, avant même de brancher la génération.
• Dans le prompt, exigez de répondre uniquement à partir du contexte retrouvé et de signaler honnêtement « le manuel ne dit rien à ce sujet ». Dans un cadre scolaire, un refus vaut mieux qu'une formulation inventée.
• Si la qualité d'un modèle 3B ne suffit pas, la prochaine étape est évidente : un modèle de 7 à 8 milliards de paramètres en quantification 4 bits tient lui aussi sur un T4.

L'analyse complète, code à l'appui, se trouve dans l'article original sur Habr. L'idée elle-même est révélatrice. Ce qui motive le recours au RAG, ce n'est pas un effet de mode, mais un changement des règles d'évaluation : quand la réponse doit coïncider avec un texte précis, la recherche dans la source passe avant la génération « intelligente ».