Desenvolvedor cria filtro de spam local com o modelo ruBert-base-antispam, sem VPN

Um desenvolvedor contou no Habr como montou um sistema de filtragem de spam em várias camadas para seu e-mail, sem VPN. A peça nova é o modelo local ruBert-base-antispam, disponível no HuggingFace: um fine-tune do DeepPavlov/rubert-base-cased-conversational com 177 milhões de parâmetros, que roda com cerca de 550 MB de RAM.

Como funciona a filtragem em camadas

O autor já bloqueia anúncios com um servidor DNS próprio e filtros CSS locais, mas o spam no e-mail exigiu uma solução à parte. O esquema tem várias etapas em sequência. Primeiro, os filtros nativos do Yandex e do Mail analisam as mensagens e descartam parte do spam antes mesmo do encaminhamento para outra caixa. O que passa por eles chega ao servidor do próprio autor, onde o SpamAssassin captura mais uma parte do lixo.

Mesmo depois dessas duas camadas, algumas mensagens ainda escapam e chegam ao Gmail: umas vão automaticamente para a pasta "Spam", outras caem na caixa de entrada com uma notificação irritante. O autor queria evitar que, com o tempo, as pastas acumulassem lixo para limpar manualmente. Segundo ele, os spammers também não ficam parados e atualizam constantemente suas técnicas para driblar os filtros.

Por que os filtros padrão não bastavam

O maior problema eram mensagens que, formalmente, não violam nenhuma regra: convites para conferências, propostas de parceria, ofertas de crédito. O filtro bayesiano tem dificuldade com esse tipo de mensagem porque ela não traz sinais claros de spam clássico, apenas insistência e pouco valor para o destinatário. Essa zona cinzenta entre "com certeza spam" e "com certeza não é spam" as três camadas anteriores não conseguiram cobrir. Foi preciso uma ferramenta separada, capaz de avaliar o sentido do e-mail, e não só os sinais formais de envio em massa.

• Modelo: ruBert-base-antispam, do HuggingFace, fine-tune do DeepPavlov/rubert-base-cased-conversational
• 177 milhões de parâmetros, 12 camadas de transformer, hidden size 768
• Limite de entrada: 512 tokens
• Consumo de memória: cerca de 550 MB; a resposta leva 100-200 milissegundos
• Classificador binário: a saída é apenas 0 ou 1, sem prompts nem reasoning

Qual modelo o autor escolheu

O modelo BERT local resolveu os dois problemas de uma vez: o acúmulo de semi-spam e a vontade de não depender de APIs pagas na nuvem. O ruBert-base-antispam é um classificador binário: recebe o texto do e-mail e devolve 0 ou 1, sem prompts nem raciocínio como nos grandes modelos de linguagem. É essa arquitetura simples que garante respostas em 100-200 milissegundos com cerca de 550 MB de memória. Assim, o modelo pode ficar rodando o tempo todo em um servidor doméstico comum, sem preocupação com carga extra no sistema.

O limite de 512 tokens na entrada não é crítico para filtrar spam: não é preciso analisar o e-mail inteiro, os primeiros parágrafos bastam para entender do que se trata. Além disso, o modelo base DeepPavlov/rubert-base-cased-conversational, sobre o qual o fine-tune foi feito, foi treinado originalmente em russo coloquial, o que deve ajudar a distinguir com mais precisão uma conversa real de envios publicitários e semipublicitários.

O que isso significa

O caso mostra que tarefas aplicadas e específicas, como filtrar spam, não exigem necessariamente grandes LLMs na nuvem: um pequeno modelo BERT local com 177 milhões de parâmetros dá conta do recado de forma mais rápida e barata, funcionando totalmente offline e sem VPN.

Perguntas frequentes

Qual modelo o autor usa para filtrar spam?

O ruBert-base-antispam, do HuggingFace, um fine-tune do modelo DeepPavlov/rubert-base-cased-conversational, com 177 milhões de parâmetros, 12 camadas de transformer e hidden size 768.

Quantos recursos esse modelo local exige?

O modelo roda com cerca de 550 MB de RAM, e a resposta para cada texto leva 100-200 milissegundos; o tamanho máximo da entrada é limitado a 512 tokens.