Le bot antispam TAB se dote d’un espace personnel et d’un site : 13 000 spams supprimés, 0,39 % d’erreurs

Les projets personnels disparaissent généralement un mois après leur premier billet. TAB, un bot Telegram qui supprime lui-même le spam, existe depuis plus d’un an et continue de se développer. Il y a six mois, il ne proposait que deux commandes d’administration et la promesse de « créer un tableau de bord un jour ». Il dispose maintenant d’un site, d’une documentation et d’un espace personnel.

Les résultats en chiffres

Le bot est présent dans 68 chats. Il a traité 527 554 messages, dont 13 422 se sont révélés être du spam. Cela représente 2,54 % du trafic, soit environ un message sur 39. Au total, 11 193 spammeurs ont été bannis et le taux d’erreur du modèle s’élève à 0,39 %. Le modèle est un LSTM doté d’un mécanisme d’attention, entraîné avec la bibliothèque LANCETNIC développée par l’auteur. Celui-ci n’a pas utilisé de modèles prêts à l’emploi provenant de Hugging Face.

La carte thermique du site montre que les fermes de bots suivent un emploi du temps très humain. L’activité s’étend de 8 h à 18 h, heure de Moscou, avec un pic à midi en semaine. La nuit est calme et le dimanche est la journée la plus tranquille. Pour un administrateur, c’est un signal pratique : la modération manuelle peut être planifiée pendant les heures de travail.

Espace personnel et liste blanche

Auparavant, il fallait changer de mode directement dans le chat avec les commandes /handbot et /autobot. Tous les membres voyaient alors la commande et, avec cinq chats, il fallait la saisir cinq fois. Désormais, le propriétaire envoie /lk au bot par message privé, sélectionne un chat et peut, en un clic, changer de mode ou ouvrir la liste blanche.

Deux modes sont disponibles. En mode automatique, le réseau neuronal analyse chaque message et supprime immédiatement le spam. En mode standard, lorsqu’il soupçonne un message, le bot appelle les modérateurs, qui choisissent « C’est du spam » ou « Ce n’est pas du spam ». Le premier bouton conserve le message et l’ajoute au jeu de données pour un entraînement complémentaire ; le second supprime le message et bannit son auteur. De cette manière, sans même s’en rendre compte, les administrateurs annotent gratuitement les données.

La liste blanche répond à un problème classique : un annonceur a conclu un accord avec les administrateurs, mais le bot considère ses publications comme du spam et les supprime. Une personne peut être ajoutée à l’aide de son identifiant numérique ou en transférant l’un de ses messages au bot. Le bot ignore alors entièrement cet utilisateur. Pour le moment, l’espace personnel est réservé aux propriétaires des chats et n’est pas accessible à l’ensemble des administrateurs.

La protection contre les bannissements injustifiés repose sur un mécanisme simple. Un bannissement automatique ne se produit que si l’utilisateur figure dans la base mondiale des spammeurs et si le modèle a classé son message comme du spam. Il existe désormais trois niveaux de vérification, mais l’auteur ne révèle pas ce qui est contrôlé au troisième niveau afin d’éviter que les spammeurs apprennent à le contourner.

Ce qui a cassé et les enseignements à en tirer

Pendant l’été, l’auteur n’a pas réentraîné le modèle durant deux mois, et le bot a commencé à laisser passer du spam manifeste. En juillet, il a constitué un nouveau jeu de données de 30 000 lignes. Pour la classe « non-spam », il a ajouté des commentaires issus de communautés urbaines sur VKontakte afin de diversifier le langage courant. Lors de l’un des entraînements complémentaires, Adam a été remplacé par RAdam ; les résultats en production sont encore à l’étude. La leçon est familière à quiconque exploite du ML en production : les données vieillissent et les spammeurs s’adaptent plus vite qu’on ne le pense.

Le sujet le plus épineux reste le spam diffusé sous forme d’images et de stickers. Le modèle textuel ne le voit tout simplement pas. Tesseract, EasyOCR et RapidOCR n’ont pas été à la hauteur. Qwen a réussi, mais il est impossible de le faire tourner localement, tandis que son API coûterait cher pour un projet amateur. L’auteur reconnaît honnêtement qu’il ne sait pas encore quelle solution adopter. Il soupçonne également que son LSTM « ne fonctionne pas comme un LSTM » et prévoit de remanier l’architecture.

Ce qu’il faut en retenir

Si vous développez un système de modération pour une communauté, trois idées méritent d’être reprises : la confirmation manuelle comme source gratuite d’annotations, une double condition avant tout bannissement et un réentraînement régulier sur des données récentes. Face au spam sous forme d’images, il ne semble pas exister de solution OCR bon marché. Il faudra comparer le coût d’un LLM multimodal avec celui d’un modèle de vision développé en interne.

Les limites sont évidentes. Il s’agit du projet personnel d’une seule personne, les métriques sont fournies par l’auteur sans vérification indépendante et le taux d’erreur de 0,39 % est calculé à partir de ses propres annotations. Cette histoire reste néanmoins instructive pour comprendre comment un petit produit se dote progressivement d’une véritable infrastructure. Le site de statistiques est accessible à l’adresse tab.lancetnic.ru et le bot à l’adresse @tantispam_bot.