Entusiasta monta no T4 um bot RAG baseado nos livros didáticos de estudos sociais do 9º e 10º anos

Com o novo ano letivo, as escolas passam a adotar livros didáticos unificados de estudos sociais, e a resposta do aluno é checada pelo texto do livro, e não pelo bom senso geral. Para esse modo de avaliação, a arquitetura clássica de RAG funciona bem: o bot não raciocina "em abstrato", mas recupera trechos do livro e responde com base neles. O autor da publicação no Habr montou um protótipo assim para os livros do 9º e 10º anos. Ele indica a página de onde saiu a resposta e roda na GPU gratuita Nvidia T4, com 16 GB de memória.

O que compõe o protótipo

O stack é totalmente aberto e cabe em um único acelerador. O pymupdf4llm processa os PDFs: ele converte as páginas em Markdown estruturado e preserva a hierarquia de títulos e parágrafos. Num livro didático, isso importa: parágrafos, definições e boxes carregam sentido, e, se o texto for cortado às cegas, a busca passa a devolver fragmentos soltos.

O restante segue a combinação habitual. O multilingual-e5-large calcula os embeddings, e o FAISS cuida do índice e da busca pelos fragmentos mais próximos. A resposta é redigida pelo Qwen2.5-3B, um modelo pequeno da Alibaba, com 3 bilhões de parâmetros.

• Parsing de PDF: pymupdf4llm
• Busca vetorial: FAISS
• Embeddings: multilingual-e5-large (cerca de 560 milhões de parâmetros, vetor de dimensão 1024)
• Geração: Qwen2.5-3B
• Hardware: Nvidia T4, 16 GB de VRAM, plano gratuito de notebooks na nuvem
• Corpus: livros didáticos de estudos sociais do 9º e 10º anos

Por que citar a página

A função principal do bot não é resumir, e sim atribuir a fonte. Se a nota depende da redação de um livro específico, aluno e professor precisam de uma resposta verificável, e não apenas "plausível". O número da página transforma a saída do modelo em uma pista que dá para abrir e conferir com o livro em poucos segundos. Para um modelo de 3 bilhões de parâmetros, isso também funciona como uma garantia extra. Modelos desse porte confundem detalhes e inventam informações com bem mais frequência quando há pouco contexto. A ligação rígida com os trechos recuperados reduz o risco, mas não o elimina por completo.

A escolha dos modelos também faz sentido. O Qwen2.5-3B em meia precisão ocupa cerca de 6 GB, e o modelo de embeddings, mais ou menos 1 GB, então os dois cabem na T4 com folga para o contexto. O E5 multilíngue continua sendo uma escolha comum entre os modelos de embeddings abertos para russo. Ele exige os prefixos query e passage, e sem eles a qualidade da busca cai.

O anúncio não traz medições: não há taxa de respostas corretas, precisão da busca nem velocidade de geração. Por isso, por ora, o protótipo deve ser visto como uma arquitetura funcional, e não como um produto validado.

Como reproduzir e o que observar

Se você quiser montar um sistema parecido com os seus próprios materiais didáticos, a ordem é esta:

• Converta os PDFs em Markdown e confira manualmente algumas páginas com tabelas, esquemas e notas de rodapé. É nesses pontos que os parsers mais costumam falhar.
• Divida o texto em blocos de sentido (parágrafo, item), e não por um número fixo de caracteres, e guarde o número da página nos metadados. Sem isso, não é possível citar a fonte.
• Monte um conjunto pequeno de perguntas de controle, por exemplo de 50 a 100, com as páginas de referência. Ele permite medir se o trecho correto aparece entre os top 3 ou top 5 resultados, antes mesmo de ligar a geração.
• No prompt, exija que o modelo responda apenas com base no contexto recuperado e avise com honestidade "o livro não diz isso". Num cenário escolar, recusar a responder é melhor do que inventar uma formulação.
• Se a qualidade do modelo de 3B não bastar, o próximo passo é óbvio: um modelo de 7–8 bilhões de parâmetros com quantização de 4 bits também cabe na T4.

A análise completa, com código, está no artigo original no Habr. A ideia em si é ilustrativa. O motivo para usar RAG aqui não é moda, e sim uma mudança nas regras de avaliação: quando a resposta precisa coincidir com um texto específico, a busca pela fonte vem antes da geração "inteligente".