Энтузиаст собрал на T4 RAG-бота по учебникам обществознания 9 и 10 классов

С нового учебного года школы переходят на единые учебники по обществознанию, а ответ ученика проверяют по тексту учебника, а не по общему здравому смыслу. Для такого режима подходит классическая RAG-схема: бот не рассуждает «вообще», а достаёт фрагменты из книги и отвечает по ним. Автор публикации на Хабре собрал такой прототип для учебников 9 и 10 классов. Он указывает страницу, с которой взят ответ, и работает на бесплатной видеокарте Nvidia T4 с 16 ГБ памяти.

Из чего собран прототип

Стек целиком открытый и умещается на одном ускорителе. Разбором PDF занимается pymupdf4llm, который превращает страницы в размеченный Markdown и сохраняет структуру заголовков и абзацев. Для учебника это важно: параграфы, определения и врезки несут смысл, и если разрезать текст вслепую, поиск начнёт возвращать обрывки.

Дальше работает типовая связка. Эмбеддинги считает multilingual-e5-large, индекс и поиск ближайших фрагментов отдан FAISS. Ответ формулирует Qwen2.5-3B, небольшая модель Alibaba на 3 млрд параметров.

• Парсинг PDF: pymupdf4llm
• Векторный поиск: FAISS
• Эмбеддинги: multilingual-e5-large (около 560 млн параметров, вектор размерности 1024)
• Генерация: Qwen2.5-3B
• Железо: Nvidia T4, 16 ГБ видеопамяти, бесплатный тариф облачных ноутбуков
• Корпус: учебники обществознания для 9 и 10 классов

Почему именно ссылка на страницу

Главная функция бота не в пересказе, а в атрибуции. Если оценка зависит от формулировок конкретного учебника, ученику и учителю нужен не «правдоподобный» ответ, а проверяемый. Номер страницы превращает вывод модели в подсказку, которую можно открыть и сверить с книгой за несколько секунд. Для 3-миллиардной модели это ещё и страховка. Такие модели заметно чаще путают детали и додумывают, когда контекста мало. Жёсткая привязка к найденным фрагментам снижает риск, но не убирает его полностью.

Выбор модели тоже объясним. Qwen2.5-3B в половинной точности занимает около 6 ГБ, эмбеддер ещё порядка 1 ГБ, так что оба помещаются на T4 с запасом под контекст. Мультиязычный E5 для русского языка остаётся распространённым выбором среди открытых эмбеддеров. Ему нужны префиксы query и passage, и без них качество поиска проседает.

В анонсе нет замеров: нет доли верных ответов, точности поиска и скорости генерации. Поэтому прототип пока стоит оценивать как рабочую схему, а не как проверенный продукт.

Как повторить и на что смотреть

Если хотите собрать похожую систему под свои учебные материалы, порядок будет таким:

• Конвертируйте PDF в Markdown и проверьте вручную несколько страниц с таблицами, схемами и сносками. Именно там парсеры ломаются чаще всего.
• Режьте текст по смысловым блокам (параграф, пункт), а не по фиксированному числу символов, и храните в метаданных номер страницы. Без этого цитирование источника невозможно.
• Соберите небольшой набор контрольных вопросов, например 50–100, с эталонными страницами. По нему удобно мерить, попадает ли нужный фрагмент в топ-3 или топ-5 выдачи, ещё до подключения генерации.
• В промпте требуйте отвечать только по найденному контексту и честно сообщать «в учебнике этого нет». Для школьного сценария отказ лучше выдуманной формулировки.
• Если качества 3B не хватит, следующий шаг очевиден: модель на 7–8 млрд параметров в 4-битном квантовании тоже помещается на T4.

Полный разбор с кодом лежит в оригинальной статье на Хабре. Сама идея показательна. Поводом для RAG становится не мода, а изменение правил оценивания: когда ответ должен совпадать с конкретным текстом, поиск по источнику нужен раньше, чем «умная» генерация.