Y2K10 Rule Bug - Update Your Rules Now!

VP, Apache SpamAssassin


p0f permet de déterminer (avec une assez bonne précision) l’OS d’une machine distante et ce de manière passive (pas à la manière de NMAP).

Comment lancer p0f pour analyser les paquets à destination du port 25 et ne faisant pas partie du lan/vpn/…. ?

p0ffilter=”( not src 127.0.0.1 and not src net 192.168.0.0/16″

for oneip in `/sbin/ifconfig 2>/dev/null | grep -v 127.0.0.1 | grep ‘inet adr’ | sed -e ‘s/.*adr://’ -e ‘s/ .*//’`; do
p0ffilter=”$p0ffilter and not src host $oneip”
done

p0ffilter=”$p0ffilter ) and tcp dst port 25″

killall p0f
killall p0f-analyzer

nohup /usr/sbin/p0f -i any -l “$p0ffilter” 2>&1 | nohup /usr/sbin/p0f-analyzer 2345 >/dev/null &

Ce script (assez sale il est vrai) permet de lancer p0f.

Une fois p0f lancé il est possible d’interroger p0f-analyzer en UDP sur le port 2345

Il faut ensuite modifier /etc/amavis/conf.d/50-user
on ajoutera:
$os_fingerprint_method = ‘p0f:127.0.0.1:2345′;

on relance ensuite amavis (/etc/init.d/amavisd restart)

Il faut ensuite créer /etc/spamassassin/p0f.cf contenant:

header P0F_WIN311 X-p0f-OS =~ /^Windows 3.11/
score P0F_WIN311 3.0
describe P0F_WIN311 Client is running Windows 3.11

header P0F_WIN95 X-p0f-OS =~ /^Windows 95/
score P0F_WIN95 3.0
describe P0F_WIN95 Client is running Windows 95

header P0F_WIN98 X-p0f-OS =~ /^Windows 98/
score P0F_WIN98 3.0
describe P0F_WIN98 Client is running Windows 98

header P0F_WINME X-p0f-OS =~ /^Windows ME/
score P0F_WINME 3.0
describe P0F_WINME Client is running Windows ME

header P0F_WINNT X-p0f-OS =~ /^Windows NT/
score P0F_WINNT 0.5
describe P0F_WINNT Client is running Windows NT

header P0F_WIN2K X-p0f-OS =~ /^Windows 2000(?!.*XP)/
score P0F_WIN2K 1.5
describe P0F_WIN2K Client is running Windows 2000

header P0F_WINXP X-p0f-OS =~ /^Windows XP(?!.*2000)/
score P0F_WINXP 2.5
describe P0F_WINXP Client is running Windows XP

header P0F_WINXP2K X-p0f-OS =~ /^Windows (XP.+2000|2000.+XP)/
score P0F_WINXP2K 1.5
describe P0F_WINXP2K Client is running Windows 2000 or XP

header P0F_WIN2K3 X-p0f-OS =~ /^Windows 2003/
score P0F_WIN2K3 0.2
describe P0F_WIN2K3 Client is running Windows 2003

header P0F_WINNET X-p0f-OS =~ /^Windows \.NET/
score P0F_WINNET 0.2
describe P0F_WINNET Client is running Windows .NET Enterprise Server

header P0F_WINCE X-p0f-OS =~ /^Windows CE/
score P0F_WINCE 0.1
describe P0F_WINCE Client is running Windows CE

header P0F_WINVISTA X-p0f-OS =~ /^Windows Vista/
score P0F_WINVISTA 2.5
describe P0F_WINVISTA Client is running Windows Vista

header P0F_MACOS X-p0f-OS =~ /^MacOS/
score P0F_MACOS 0.1
describe P0F_MACOS Client is running Mac OS

header P0F_FREEBSD X-p0f-OS =~ /^FreeBSD/
score P0F_FREEBSD -0.1
describe P0F_FREEBSD Client is running FreeBSD

header P0F_OPENBSD X-p0f-OS =~ /^OpenBSD/
score P0F_OPENBSD -1.0
describe P0F_OPENBSD Client is running OpenBSD

header P0F_NETBSD X-p0f-OS =~ /^NetBSD/
score P0F_NETBSD -1.0
describe P0F_NETBSD Client is running NetBSD

header P0F_SOLARIS X-p0f-OS =~ /^Solaris/
score P0F_SOLARIS -1.0
describe P0F_SOLARIS Client is running Solaris

header P0F_HPUX X-p0f-OS =~ /^HP-UX/
score P0F_HPUX -1.0
describe P0F_HPUX Client is running HP-UX

header P0F_TRU64 X-p0f-OS =~ /^Tru64/
score P0F_TRU64 -1.0
describe P0F_TRU64 Client is running Tru64

header P0F_AIX X-p0f-OS =~ /^AIX/
score P0F_AIX -1.0
describe P0F_AIX Client is running AIX

header P0F_LINUX X-p0f-OS =~ /^Linux/
score P0F_LINUX -0.5
describe P0F_LINUX Client is running Linux

header P0F_SUNOS X-p0f-OS =~ /^SunOS/
score P0F_SUNOS -1.0
describe P0F_SUNOS Client is running SunOS

header P0F_IRIX X-p0f-OS =~ /^IRIX/
score P0F_IRIX -1.0
describe P0F_IRIX Client is running IRIX

header P0F_OPENVMS X-p0f-OS =~ /^OpenVMS/
score P0F_OPENVMS -1.0
describe P0F_OPENVMS Client is running OpenVMS

header P0F_RISCOS X-p0f-OS =~ /^RISC OS/
score P0F_RISCOS -1.0
describe P0F_RISCOS Client is running RISC OS

header P0F_BSD X-p0f-OS =~ /^BSD/
score P0F_BSD -1.0
describe P0F_BSD Client is running BSD/OS

header P0F_NEWTON X-p0f-OS =~ /^NewtonOS/
score P0F_NEWTON 0.1
describe P0F_NEWTON Client is running NewtonOS

header P0F_NEXT X-p0f-OS =~ /^NeXTSTEP/
score P0F_NEXT -1.0
describe P0F_NEXT Client is running NeXTSTEP

header P0F_BEOS X-p0f-OS =~ /^BeOS/
score P0F_BEOS -1.0
describe P0F_BEOS Client is running BeOS

header P0F_OS400 X-p0f-OS =~ /^OS\/400/
score P0F_OS400 -1.0
describe P0F_OS400 Client is running OS/400

header P0F_ULTRIX X-p0f-OS =~ /^ULTRIX/
score P0F_ULTRIX -1.0
describe P0F_ULTRIX Client is running ULTRIX

header P0F_QNX X-p0f-OS =~ /^QNX/
score P0F_QNX -1.0
describe P0F_QNX Client is running QNX

header P0F_NETWARE X-p0f-OS =~ /^Novell NetWare/
score P0F_NETWARE 2.0
describe P0F_NETWARE Client is running NetWare

header P0F_INTRANETWARE X-p0f-OS =~ /^Novell IntranetWare/
score P0F_INTRANETWARE 2.0
describe P0F_INTRANETWARE Client is running IntranetWare

header P0F_BORDERMGR X-p0f-OS =~ /^Novell BorderManager/
score P0F_BORDERMGR 2.0
describe P0F_BORDERMGR Client is running BorderManager

header P0F_SCO X-p0f-OS =~ /^SCO/
score P0F_SCO -1.0
describe P0F_SCO Client is running SCO

header P0F_DOS X-p0f-OS =~ /^DOS/
score P0F_DOS 3.0
describe P0F_DOS Client is running DOS

header P0F_OS2 X-p0f-OS =~ /^OS\/2/
score P0F_OS2 2.0
describe P0F_OS2 Client is running OS/2

header P0F_TOPS20 X-p0f-OS =~ /^TOPS-20/
score P0F_TOPS20 -1.0
describe P0F_TOPS20 Client is running TOPS-20

header P0F_AMIGA X-p0f-OS =~ /^AMIGA/
score P0F_AMIGA 1.0
describe P0F_AMIGA Client is running AMIGAOS

header P0F_MINIX X-p0f-OS =~ /Minix/
score P0F_MINIX -1.0
describe P0F_MINIX Client is running Minix

header P0F_PLAN9 X-p0f-OS =~ /^Plan9/
score P0F_PLAN9 -1.0
describe P0F_PLAN9 Client is running Plan9

header P0F_FREEMINT X-p0f-OS =~ /^FreeMiNT/
score P0F_FREEMINT 1.0
describe P0F_FREEMINT Client is running FreeMiNT

header P0F_NETCACHE X-p0f-OS =~ /^NetCache/
score P0F_NETCACHE -0.1
describe P0F_NETCACHE Client is running NetCache

header P0F_CACHEFLOW X-p0f-OS =~ /^CacheFlow/
score P0F_CACHEFLOW -0.1
describe P0F_CACHEFLOW Client is running CacheFlow

header P0F_POWERAPP X-p0f-OS =~ /^Dell PowerApp/
score P0F_POWERAPP -0.1
describe P0F_POWERAPP Client is running PowerApp

header P0F_PALMOS X-p0f-OS =~ /^PalmOS/
score P0F_PALMOS 0.1
describe P0F_PALMOS Client is running PalmOS

header P0F_SYMBIANOS X-p0f-OS =~ /^SymbianOS/
score P0F_SYMBIANOS 0.1
describe P0F_SYMBIANOS Client is running SymbianOS

header P0F_ZAURUS X-p0f-OS =~ /^Zaurus/
score P0F_ZAURUS 0.1
describe P0F_ZAURUS Client is running Zaurus

header P0F_POCKETPC X-p0f-OS =~ /^PocketPC/
score P0F_POCKETPC 0.1
describe P0F_POCKETPC Client is running PocketPC

header P0F_CONTIKI X-p0f-OS =~ /^Contiki/
score P0F_CONTIKI 0.1
describe P0F_CONTIKI Client is running Contiki

header P0F_PLAYSTATION X-p0f-OS =~ /^Sony Playstation/
score P0F_PLAYSTATION 3.0
describe P0F_PLAYSTATION Client is running Sony Playstation

header P0F_DREAMCAST X-p0f-OS =~ /^Sega Dreamcast/
score P0F_DREAMCAST 3.0
describe P0F_DREAMCAST Client is running Sega Dreamcast

header P0F_UNKNOWN X-p0f-OS =~ /^UNKNOWN/
score P0F_UNKNOWN 0.8
describe P0F_UNKNOWN Client OS is unknown

redémarrons spamassassin (/etc/init.d/spamassassin restart)

Si tout va bien l’entete X-Amavis-OS-Fingerprint: apparait dans les mails.

Spamassassin peut donc “scorer” les mails en fonction de cet entete.

! Attention ! Il faut une version >= 2.4.3 de amavisd

Je souhaite par exemple ajouter la date du jour au format JJ-MM-AAAA HH:MM devant tous les sujets de mes nouveaux mails:

dans mon ~/.procmailrc j’ajoute:

:0
*
{
SUBJECT=`formail -zxSubject:`
SUBDATE=`date +%d-%m-%Y\ %H:%M`
:0fhw
| formail -I”Subject: [$SUBDATE] $SUBJECT”
}

#BOF
#Constantes
DATE=`date +%Y-%m`
#Emplacement du dossier ou les mails seront délivrés
MAILDIR=$HOME/Maildir
#Emplacement ou le mail est sauvegardé en dernier ressort en cas de problème
ORGMAIL=$HOME/Maildir
#Mails sans importance (publicités…)
JUNKMAIL=.Junk/
#Répertoire dans lequel on stocke les .lock de formail, procmail…
HOMEMAIL=$HOME/Mail
#Log de procmail
LOGFILE=/tmp/$LOGNAME-procmail.log
#Mode volubile
VERBOSE=on
#Fichiers de white/black list permettant de whitelister/blacklister un domaine/expéditeur
WHITE_LIST=$HOME/.white-list
BLACK_LIST=$HOME/.black-list
#Fichier inclus (comme un include en PHP par exemple)
INCLUDERC=$HOME/.procmailinclude
#Permet de stopper le traitement si la machine ne s’appelle pas gw (utile en cas de montage de $HOME à travers NFS)
HOST=gw

########## Traitements procmail #########

#On déplace les mails ayant des “charset” très peu utilisés en europe de l’ouest dans le dossier Spam

UNREADABLE=’[^?"]*big5|iso-2022-jp|ISO-2022-KR|euc-kr|gb2312|ks_c_5601-1987′
:0:
* 10 $ ^Subject:.*=\?($UNREADABLE)
* 10 $ ^Content-Type:.*charset=”?($UNREADABLE)
.Spam/

:0:
* ^Content-Type:.*multipart
* B?? $ ^Content-Type:.*^?.*charset=”?($UNREADABLE)
.Spam/

#Si l’expéditeur est dans la whitelist, on ajoute un entete X-Whitelist positionné à Yes

:0
* ? formail -x”From” -x”From:” -x”Sender:” | egrep -is -f $WHITE_LIST
{
:0 fwh
| formail -a”X-Whitelist: Yes”
}

#Tag des mails grâce à bogofilter & Razor (On ne traite que les mails de moins de 128ko)
:0fw
* < 128000
| bogofilter -upelv

:0e
{ EXITCODE=75 HOST }

:0Wc
* < 128000
* ^X-Bogosity: Unsure.*
| razor-check
#On marque les spams reconnus par razor par un header X-Razor-Spam
:0af
| formail -A “X-Razor-Spam: YES”

#Tag des spams reconnus par razor par un sujet ****SPAM****
:0
* ^X-Razor-Spam: YES
{
SUBJECT=`formail -zxSubject:`

:0fhw
| formail -I”Subject: ****SPAM**** $SUBJECT”
}

#Si un mail a été détecté comme spam et que l’expéditeur est dans la liste blanche, alors le faire réapprendre comme courrier sollicité (Ham)

:0c
* ^X-Bogosity: Yes
* ^X-Whitelist: Yes
| bogofilter -Nl

#Si le mail a été détecté comme spam alors le déplacer dans le dossier adéquat.
:0
* ^X-Bogosity.*spamicity=1\.0
$JUNKMAIL
:0
* ^X-Bogosity.*spamicity=0\.9[56789]
$JUNKMAIL
:0
* ^X-(Spam-Flag|Razor-Spam): YES
$JUNKMAIL

#Emettre un bip si le mail est destiné à la boite principale
BEEP=`/usr/bin/beep -f 1000 -n -f 2000 -n -f 1500`

Comment cela fonctionne?

Un utilisateur rapporte un spam. Une empreinte est alors générée (comme une empreinte digitale). Tout futur mail dont l’empreinte correspond à une empreinte de spam connue sera à 100% un SPAM. Il est donc possible, étant donné que les apsmmeurs envoient en masse des centaines de milliers de fois le même mail, de s’en protéger efficacement.
J’utilise cette solution conjointement à bogofilter.

Bogofilter fonctionne dans un mode à trois etats:

Ham, Unsure, et Spam.

Ham: Le mail est un mail souhaité

Unsure: Bogofilter est “indécis” sur la nature du mail (cas épineux)

Spam: Bogofilter a de grandes présomptions d’avoir découvert un spam.

Afin de limiter les traitements inutiles, j’ai décidé de n’utiliser razor que dans les cas ou bogofilter marque un mail comme unsure.

Comment faire techniquement?

Après avoir installé razor:

razor-admin -create && razor-admin -discover

Passons à l’édition du ~/.procmailrc

## Razor
:0Wc
* < 128000
* ^X-Bogosity: Unsure.*
| razor-check

#Ce bloc passe à razor les mails de taille inférieurs à 128ko pour lesquels bogofilter à renvoyé un etat incertain
:0af
| formail -A “X-Razor-Spam: YES”

#Si razor détecte un spam, alors on ajoute une entete X-Razor-Spam dans le mail

:0
* ^X-Razor-Spam: YES
{
SUBJECT=`formail -zxSubject:`

:0fhw
| formail -I”Subject: ****SPAM**** $SUBJECT”
}

#Razor n’ajoutant pas de chaine spécifique au sujet, nous l’ajoutons

:0
* ^X-Razor-Spam: YES
.Spam/

#Si le mail est marqué comme spam par razor, on le déplace dans le dossier Spam

Bogofilter est un puissant filtre bayésien permettant de tagguer le spam afin de pouvoir le repérer, trier, effacer… très facilement.

Quel intérêt? Remplacer SpamAssassin qui est, lui aussi très afficace, mais très consommateur de ressources (600 Mo en permanence sur mon modeste serveur mail).

Comment le mettre en place:

Il faut déja dans un premier temps “apprendre” au filtre ce que l’on considère comme courrier non sollicité (SPAM), et comme courrier souhaité (HAM).

Mes mails étant stockés au format maildir, nous nous rendons dans mon dossier de spams:

% cd ~/Maildir/.Spam/cur

for i in *; do bogofilter -s -I $i; done

Idem pour les mails sollicités (HAM)

% cd ~/Maildir/cur

for i in *; do bogofilter -n -I $i; done

Maintenant que bogofilter est “entrainé”, il faut modifier le ~/.procmailrc afin de filtrer les mails:

## BogoFilter
:0fw
* < 128000
| bogofilter -upelv

:0e
{ EXITCODE=75 HOST }
## BogoFilter

:0
* ^X-Bogosity.*spamicity=1\.0
.Spam/

:0
* ^X-Bogosity.*spamicity=0\.9[56789]
.Spam/

Ce code nous permet de déplacer dans un dossier Spam tous les mails considérés comme spam.

Que faire cas de détection d’un faux positif, ou d’un faux négatif?

Nous allons créer les dossiers Ham, Spam ainsi qu’un sous dossier Old pour chacun de ces dossiers dans notre boite mail nous permettant de faire réapprendre à bogofilter les mails concernés.

Le script suivant lancé périodiquement nous permettra de faire apprendre à bogofilter le Spam

#!/bin/sh

if [ $UID -eq 0 ]; then
echo “Lancement par les utilisateurs uniquement !” ;
exit
fi

if [ ! -d $1 ] || [ ! -d $2 ]
then
echo “Dossier manquant !” ;
exit 1
fi

SPAM=$1
OLDSPAM=$2
bogofilter=/usr/bin/bogofilter

# Reconnaissance du spam
echo “ANALYSE DU SPAM”
for f in $SPAM/*,S ; do
if [ -f $f ] ; then
echo $f ;
$bogofilter -s -I $f
fi
done
mv $SPAM/*,S $OLDSPAM/
echo “Done.”

Le script suivant lancé périodiquement nous permettra de faire apprendre à bogofilter le Ham

#!/bin/sh

if [ $UID -eq 0 ]; then
echo “Lancement par les utilisateurs uniquement !” ;
exit
fi

if [ ! -d $1 ] || [ ! -d $2 ]
then
echo “Dossier manquant !” ;
exit
fi

HAM=$1
OLDHAM=$2
bogofilter=/usr/bin/bogofilter

# Reconnaissance du ham
echo “ANALYSE DU FAUX SPAM”
for f in $HAM/* ; do
if [ -f $f ] ; then
echo $f;
$bogofilter -n -I $f
fi
done
mv $HAM/* $OLDHAM/
echo “Done.”
Ces scripts seront lancés par votre crontab grace aux lignes suivantes:

@daily /usr/local/bin/bogoaddspam.sh ~/Maildir/.Spam/cur ~/Maildir/.Spam.Old/cur
@daily /usr/local/bin/bogoaddham.sh ~/Maildir/.Ham/cur ~/Maildir/.Ham.Old/cur