Un desarrollador crea un filtro de spam local con el modelo ruBert-base-antispam y sin VPN

Un desarrollador ha explicado en Habr cómo montó un sistema multinivel de filtrado de spam para su correo sin VPN. Para ello incorporó el modelo local ruBert-base-antispam de HuggingFace, un fine-tuning de DeepPavlov/rubert-base-cased-conversational con 177 millones de parámetros que funciona con unos 550 MB de RAM.

Cómo funciona el filtrado multinivel

El autor bloquea la publicidad con su propio servidor DNS y filtros CSS locales, pero el spam del correo le exigió una solución aparte. El esquema se organiza en varias etapas sucesivas. Primero revisan los mensajes los filtros integrados de Yandex y Mail, que descartan parte del spam antes de que se reenvíe a otro buzón. Lo que supera esa barrera llega al servidor propio del autor, donde SpamAssassin intercepta otra parte de la basura.

Aun así, tras esos dos niveles algunos correos se cuelan y acaban en Gmail: unos van a parar automáticamente a la carpeta «Spam» y otros llegan a la bandeja de entrada con una notificación molesta. El autor quería evitar que, con el tiempo, se acumulara en las carpetas basura que tuviera que limpiar a mano. Además, según explica, los spammers tampoco se quedan quietos y actualizan constantemente sus técnicas para esquivar los filtros.

Por qué no bastaban los filtros estándar

El problema principal eran los correos que, formalmente, no infringen ninguna norma: invitaciones a conferencias, propuestas de colaboración o campañas de créditos. Un filtro bayesiano detecta mal este tipo de mensajes porque no presentan señales claras del spam clásico; solo son insistentes y aportan poco valor al destinatario. Los tres niveles de filtrado anteriores no lograron cubrir esa zona gris entre lo que es claramente spam y lo que claramente no lo es. Hacía falta una herramienta específica capaz de evaluar el sentido del mensaje, y no solo los rasgos formales de un envío masivo.

• Modelo: ruBert-base-antispam de HuggingFace, fine-tuning de DeepPavlov/rubert-base-cased-conversational
• 177 millones de parámetros, 12 capas de transformer, hidden size 768
• Límite de entrada: 512 tokens
• Consumo de memoria: unos 550 MB; la respuesta tarda 100-200 milisegundos
• Clasificador binario: la salida es solo 0 o 1, sin prompts ni reasoning

Qué modelo eligió el autor

El modelo BERT local resolvió de una vez los dos problemas: la acumulación de semispam y el rechazo a depender de API en la nube de pago. ruBert-base-antispam es un clasificador binario: recibe el texto del correo y devuelve 0 o 1, sin prompts ni razonamientos como los de los grandes modelos de lenguaje. Esa sencillez de arquitectura es la que permite tiempos de respuesta de 100-200 milisegundos con unos 550 MB de memoria. Así, el modelo puede mantenerse siempre en ejecución en un servidor doméstico normal sin preocuparse por cargar de más el sistema.

El límite de 512 tokens de entrada no es crítico para filtrar spam: no hace falta analizar el correo completo, porque los primeros párrafos bastan para entender de qué tipo es. Además, el modelo base sobre el que se construyó el fine-tuning, DeepPavlov/rubert-base-cased-conversational, se entrenó originalmente con ruso conversacional, lo que debería ayudar a distinguir con más precisión la correspondencia real de los envíos publicitarios y semipublicitarios.

Qué significa esto

El caso demuestra que, para tareas aplicadas y acotadas como el filtrado de spam, no son imprescindibles los grandes LLM en la nube: un pequeño modelo BERT local de 177 millones de parámetros resuelve el problema de forma más rápida y barata, y funciona totalmente offline y sin VPN.

Preguntas frecuentes

¿Qué modelo usa el autor para filtrar el spam?

Usa ruBert-base-antispam de HuggingFace, un fine-tuning del modelo DeepPavlov/rubert-base-cased-conversational con 177 millones de parámetros, 12 capas de transformer y hidden size 768.

¿Cuántos recursos necesita este modelo local?

El modelo funciona con unos 550 MB de RAM y responde a cada texto en 100-200 milisegundos; la longitud máxima de entrada está limitada a 512 tokens.