lundi 10 mars 2008
Un nouvel antispam pour ce blog !
Par haypo, lundi 10 mars 2008 à 23:38 :: Blog
Dans le plus pur respect du syndrôme NIH, j'ai écrit mon outil de détection de spam pour les commentaires Dotclear : antispam. Je sens que rien que le nom vous fait déjà trépigner d'impatience.
Système de notation
Je me suis inspiré de mon travail sur la notation dans le projet Fusil pour noter les commentaires, ce qui n'a rien de révolutionnaire en soit (SpamAssassin le fait déjà). J'ai écrit des règles empiriques selon mes observations sur les spams. L'idée est de rechercher les caractéristiques typiques des spams puis de les transformer en règles.
Voici les règles utilisées actuellement :
- Adresse de courriel : liste blanche/noire pour les domaines, voir conf/email_domains.txt (liste noire par défaut)
- Mots clés : recherche de mots clés à partir d'une liste blanche/noire, voir conf/words.txt (liste noire par défaut)
- Ratio des lettres latines majuscules et du nombre total de lettres latines : s'il y a plus de 35% de majuscules, le message gagne 5 points
- Longueur du texte : si le texte hors liens externes contient moins de 30 lettres latines, le message gagne 2 points
- Ratio d'url par domaine : s'il y a plus de 3 liens vers le même domaine (en moyenne), le message gagne 5 points
- Pour chaque url, une liste blanche/noire (plutôt liste blanche) permet d'attribuer un score selon le domaine. Si l'url ne correspond à aucun domaine, elle obtient une note de +1 point
Finalement, j'utilise peu de règles pour éviter les faux-positifs (message légitime détecté comme spam). Ce n'est pas nécessaire car je n'ai pas encore vu passer de faux-positif.
Résultat sur les commentaires de ce blog
En utilisant un score initial de -3, les commentaires légitimes ont une note négative entre -3 et -2. Pour les spams, j'ai observé trois types selon la note moyenne :
- (A) note de 0,5 à 2 : un ou deux liens, message court, texte crédible en anglais
- (B) note de 15 à 25 : une dizaine de liens vers le même serveur avec quelques mots anglais aléatoires
- (C) note de 150 à 200 : grosse collection de liens et liste presque exhaustive des mots clés que j'ai mis en liste noire (ex: une vingtaine de variantes de « buy cheap viagra » dans le même message)
Les spams de type (B) et (C) sont triviaux à détecter. Les plus pénibles étant les spams de type (A).
Exemple de spam pénible
Commentaire reçu aujourd'hui, j'ai remplacé les urls par xxx :
Author: brazilian <thongwaxingbrazilian@mail.com> Website: http://xxxxxxxxx.nl/35424 IP: 218.16.224.243 - she reached for her clit. madam, i ve got arthritis, <a href= http://xxxxxxx.com/phpbb/barthololauries.html >waxing thong brazilian</a> and.
Le message contenait aussi deux caractères Unicode invalides (U+0092 et U+0093). Analyse avec la configuration actuelle d'antispam pour ce blog :
Match URL (+1.0): http://... Match URL (+1.0): http://... Match email domain (+1.0): mail.com -stdin- score: +0.00
Le message n'est pas détecté comme spam. J'ai donc ajouté les mots clit, brazilian, thong et waxing en liste noire pour gonfler la note jusqu'à +7.
Fiabilité de l'antispam
Après une semaine de développement sur antispam, je suis plutôt content du résultat. Bien que cet outil demande beaucoup de configuration manuelle, il supprime déjà environ 90% du spam de ce blog. Sachez que je reçois à peu près 100 spams par jour sur ce blog.
L'ancien moteur de spam était fiable à 100% : il bloquait simplement tout message contenant un lien externe. J'essaye de le rendre un peu plus laxiste pour autoriser les liens externes.
Amélirations possibles
Idée pour améliorer antispam :
- Réutiliser du code (au moins des idées) des antispams existants (ex: Spam Karma)
- Utiliser un filtre bayésien
- Utiliser des listes noires (URL / IP / email) dynamiques
- Filtrage horaire et/ou selon le jour de la semaine (je pense qu'il y a peu de commentaires légitimes entre 2h et 7h)
- Utiliser des listes blanches ou d'autres règles pour diminuer la note
Contactez moi directement si vous voulez tester antispam sur votre forum ou votre blog. L'intégration étant pénible à automatiser. Antispam est écrit en Python et distribué sous licence GNU GPL.
