Un aficionado crea en una T4 un bot RAG basado en los libros de texto de ciencias sociales de 9.º y 10.º grado

Con el nuevo curso, las escuelas pasan a libros de texto únicos de ciencias sociales, y la respuesta del alumno se comprueba con el texto del libro, no con el sentido común en general. Para este modo encaja el esquema RAG clásico: el bot no razona «en abstracto», sino que extrae fragmentos del libro y responde a partir de ellos. El autor de una publicación en Habr ha montado un prototipo así para los libros de 9.º y 10.º grado. El bot indica la página de la que procede la respuesta y funciona en una GPU Nvidia T4 gratuita con 16 GB de memoria.

De qué se compone el prototipo

El stack es totalmente abierto y cabe en un solo acelerador. De procesar los PDF se encarga pymupdf4llm, que convierte las páginas en Markdown estructurado y conserva la jerarquía de títulos y párrafos. En un libro de texto esto importa: los párrafos, las definiciones y los recuadros aportan significado, y si el texto se corta a ciegas, la búsqueda acaba devolviendo fragmentos inconexos.

Después entra en juego la combinación habitual. multilingual-e5-large calcula los embeddings, y FAISS se encarga del índice y de la búsqueda de los fragmentos más cercanos. La respuesta la redacta Qwen2.5-3B, un modelo pequeño de Alibaba con 3 mil millones de parámetros.

• Parseo de PDF: pymupdf4llm
• Búsqueda vectorial: FAISS
• Embeddings: multilingual-e5-large (unos 560 millones de parámetros, vectores de dimensión 1024)
• Generación: Qwen2.5-3B
• Hardware: Nvidia T4, 16 GB de VRAM, plan gratuito de notebooks en la nube
• Corpus: libros de texto de ciencias sociales de 9.º y 10.º grado

Por qué la referencia a la página

La función principal del bot no es resumir, sino atribuir. Si la nota depende de la redacción de un libro concreto, el alumno y el profesor no necesitan una respuesta «verosímil», sino una verificable. El número de página convierte la salida del modelo en una pista que se puede abrir y contrastar con el libro en pocos segundos. Para un modelo de 3B es, además, una red de seguridad: estos modelos confunden detalles e inventan con bastante más frecuencia cuando falta contexto. Anclar la respuesta a los fragmentos recuperados reduce el riesgo, pero no lo elimina por completo.

La elección de modelos también tiene su lógica. Qwen2.5-3B en media precisión ocupa unos 6 GB y el modelo de embeddings, alrededor de 1 GB, así que ambos caben en la T4 con margen para el contexto. El E5 multilingüe sigue siendo una opción habitual entre los embedders abiertos para ruso. Requiere los prefijos query y passage, y sin ellos la calidad de la búsqueda cae.

El anuncio no incluye mediciones: no hay porcentaje de respuestas correctas, ni precisión de la recuperación, ni velocidad de generación. Por eso, por ahora el prototipo debe valorarse como un esquema que funciona, no como un producto contrastado.

Cómo replicarlo y en qué fijarse

Si quiere montar un sistema parecido con sus propios materiales didácticos, el orden sería este:

• Convierta los PDF a Markdown y revise a mano algunas páginas con tablas, esquemas y notas al pie. Es donde más a menudo fallan los parsers.
• Divida el texto por bloques de sentido (párrafo, apartado) y no por un número fijo de caracteres, y guarde el número de página en los metadatos. Sin esto es imposible citar la fuente.
• Prepare un pequeño conjunto de preguntas de control, por ejemplo de 50–100, con sus páginas de referencia. Sirve para medir si el fragmento correcto aparece entre los 3 o 5 primeros resultados, incluso antes de conectar la generación.
• En el prompt, exija responder solo con el contexto recuperado y decir con franqueza «el libro no dice nada sobre esto». En un entorno escolar, es mejor una negativa que una formulación inventada.
• Si la calidad de un modelo de 3B no basta, el siguiente paso es evidente: un modelo de 7–8 mil millones de parámetros con cuantización de 4 bits también cabe en la T4.

El análisis completo con código está en el artículo original de Habr. La idea en sí es ilustrativa. Lo que motiva el uso de RAG aquí no es la moda, sino un cambio en las reglas de evaluación: cuando la respuesta debe coincidir con un texto concreto, la búsqueda por fuente se necesita antes que la generación «inteligente».