Lolo’s blog

L’idée de ce post est de présenter un ~/.procmailrc commenté:

#BOF
#Constantes
DATE=`date +%Y-%m`
#Emplacement du dossier ou les mails seront délivrés
MAILDIR=$HOME/Maildir
#Emplacement ou le mail est sauvegardé en dernier ressort en cas de problème
ORGMAIL=$HOME/Maildir
#Mails sans importance (publicités…)
JUNKMAIL=.Junk/
#Répertoire dans lequel on stocke les .lock de formail, procmail…
HOMEMAIL=$HOME/Mail
#Log de procmail
LOGFILE=/tmp/$LOGNAME-procmail.log
#Mode volubile
VERBOSE=on
#Fichiers de white/black list permettant de whitelister/blacklister un domaine/expéditeur
WHITE_LIST=$HOME/.white-list
BLACK_LIST=$HOME/.black-list
#Fichier inclus (comme un include en PHP par exemple)
INCLUDERC=$HOME/.procmailinclude
#Permet de stopper le traitement si la machine ne s’appelle pas gw (utile en cas de montage de $HOME à travers NFS)
HOST=gw

########## Traitements procmail #########

#On déplace les mails ayant des “charset” très peu utilisés en europe de l’ouest dans le dossier Spam

UNREADABLE=’[^?"]*big5|iso-2022-jp|ISO-2022-KR|euc-kr|gb2312|ks_c_5601-1987′
:0:
* 10 $ ^Subject:.*=\?($UNREADABLE)
* 10 $ ^Content-Type:.*charset=”?($UNREADABLE)
.Spam/

:0:
* ^Content-Type:.*multipart
* B?? $ ^Content-Type:.*^?.*charset=”?($UNREADABLE)
.Spam/

#Si l’expéditeur est dans la whitelist, on ajoute un entete X-Whitelist positionné à Yes

:0
* ? formail -x”From” -x”From:” -x”Sender:” | egrep -is -f $WHITE_LIST
{
:0 fwh
| formail -a”X-Whitelist: Yes”
}

#Tag des mails grâce à bogofilter & Razor (On ne traite que les mails de moins de 128ko)
:0fw
* < 128000
| bogofilter -upelv

:0e
{ EXITCODE=75 HOST }

:0Wc
* < 128000
* ^X-Bogosity: Unsure.*
| razor-check
#On marque les spams reconnus par razor par un header X-Razor-Spam
:0af
| formail -A “X-Razor-Spam: YES”

#Tag des spams reconnus par razor par un sujet ****SPAM****
:0
* ^X-Razor-Spam: YES
{
SUBJECT=`formail -zxSubject:`

:0fhw
| formail -I”Subject: ****SPAM**** $SUBJECT”
}

#Si un mail a été détecté comme spam et que l’expéditeur est dans la liste blanche, alors le faire réapprendre comme courrier sollicité (Ham)

:0c
* ^X-Bogosity: Yes
* ^X-Whitelist: Yes
| bogofilter -Nl

#Si le mail a été détecté comme spam alors le déplacer dans le dossier adéquat.
:0
* ^X-Bogosity.*spamicity=1\.0
$JUNKMAIL
:0
* ^X-Bogosity.*spamicity=0\.9[56789]
$JUNKMAIL
:0
* ^X-(Spam-Flag|Razor-Spam): YES
$JUNKMAIL

#Emettre un bip si le mail est destiné à la boite principale
BEEP=`/usr/bin/beep -f 1000 -n -f 2000 -n -f 1500`

Dans le précédent article (bogofilter), nous avions vu comment tagguer les Spams après une phase d’apprentissage.Nous allons voir comment aller plus loin grâce à Razor (http://razor.sourceforge.net/), un réseau collaboratif de “détection de spams”.

Comment cela fonctionne?

Un utilisateur rapporte un spam. Une empreinte est alors générée (comme une empreinte digitale). Tout futur mail dont l’empreinte correspond à une empreinte de spam connue sera à 100% un SPAM. Il est donc possible, étant donné que les apsmmeurs envoient en masse des centaines de milliers de fois le même mail, de s’en protéger efficacement.
J’utilise cette solution conjointement à bogofilter.

Bogofilter fonctionne dans un mode à trois etats:

Ham, Unsure, et Spam.

Ham: Le mail est un mail souhaité

Unsure: Bogofilter est “indécis” sur la nature du mail (cas épineux)

Spam: Bogofilter a de grandes présomptions d’avoir découvert un spam.

Afin de limiter les traitements inutiles, j’ai décidé de n’utiliser razor que dans les cas ou bogofilter marque un mail comme unsure.

Comment faire techniquement?

Après avoir installé razor:

razor-admin -create && razor-admin -discover

Passons à l’édition du ~/.procmailrc

## Razor
:0Wc
* < 128000
* ^X-Bogosity: Unsure.*
| razor-check

#Ce bloc passe à razor les mails de taille inférieurs à 128ko pour lesquels bogofilter à renvoyé un etat incertain
:0af
| formail -A “X-Razor-Spam: YES”

#Si razor détecte un spam, alors on ajoute une entete X-Razor-Spam dans le mail

:0
* ^X-Razor-Spam: YES
{
SUBJECT=`formail -zxSubject:`

:0fhw
| formail -I”Subject: ****SPAM**** $SUBJECT”
}

#Razor n’ajoutant pas de chaine spécifique au sujet, nous l’ajoutons

:0
* ^X-Razor-Spam: YES
.Spam/

#Si le mail est marqué comme spam par razor, on le déplace dans le dossier Spam

Kezako?

Bogofilter est un puissant filtre bayésien permettant de tagguer le spam afin de pouvoir le repérer, trier, effacer… très facilement.

Quel intérêt? Remplacer SpamAssassin qui est, lui aussi très afficace, mais très consommateur de ressources (600 Mo en permanence sur mon modeste serveur mail).

Comment le mettre en place:

Il faut déja dans un premier temps “apprendre” au filtre ce que l’on considère comme courrier non sollicité (SPAM), et comme courrier souhaité (HAM).

Mes mails étant stockés au format maildir, nous nous rendons dans mon dossier de spams:

% cd ~/Maildir/.Spam/cur

for i in *; do bogofilter -s -I $i; done

Idem pour les mails sollicités (HAM)

% cd ~/Maildir/cur

for i in *; do bogofilter -n -I $i; done

Maintenant que bogofilter est “entrainé”, il faut modifier le ~/.procmailrc afin de filtrer les mails:

## BogoFilter
:0fw
* < 128000
| bogofilter -upelv

:0e
{ EXITCODE=75 HOST }
## BogoFilter

:0
* ^X-Bogosity.*spamicity=1\.0
.Spam/

:0
* ^X-Bogosity.*spamicity=0\.9[56789]
.Spam/

Ce code nous permet de déplacer dans un dossier Spam tous les mails considérés comme spam.

Que faire cas de détection d’un faux positif, ou d’un faux négatif?

Nous allons créer les dossiers Ham, Spam ainsi qu’un sous dossier Old pour chacun de ces dossiers dans notre boite mail nous permettant de faire réapprendre à bogofilter les mails concernés.

Le script suivant lancé périodiquement nous permettra de faire apprendre à bogofilter le Spam

#!/bin/sh

if [ $UID -eq 0 ]; then
echo “Lancement par les utilisateurs uniquement !” ;
exit
fi

if [ ! -d $1 ] || [ ! -d $2 ]
then
echo “Dossier manquant !” ;
exit 1
fi

SPAM=$1
OLDSPAM=$2
bogofilter=/usr/bin/bogofilter

# Reconnaissance du spam
echo “ANALYSE DU SPAM”
for f in $SPAM/*,S ; do
if [ -f $f ] ; then
echo $f ;
$bogofilter -s -I $f
fi
done
mv $SPAM/*,S $OLDSPAM/
echo “Done.”

Le script suivant lancé périodiquement nous permettra de faire apprendre à bogofilter le Ham

#!/bin/sh

if [ $UID -eq 0 ]; then
echo “Lancement par les utilisateurs uniquement !” ;
exit
fi

if [ ! -d $1 ] || [ ! -d $2 ]
then
echo “Dossier manquant !” ;
exit
fi

HAM=$1
OLDHAM=$2
bogofilter=/usr/bin/bogofilter

# Reconnaissance du ham
echo “ANALYSE DU FAUX SPAM”
for f in $HAM/* ; do
if [ -f $f ] ; then
echo $f;
$bogofilter -n -I $f
fi
done
mv $HAM/* $OLDHAM/
echo “Done.”
Ces scripts seront lancés par votre crontab grace aux lignes suivantes:

@daily /usr/local/bin/bogoaddspam.sh ~/Maildir/.Spam/cur ~/Maildir/.Spam.Old/cur
@daily /usr/local/bin/bogoaddham.sh ~/Maildir/.Ham/cur ~/Maildir/.Ham.Old/cur