Referer spam

matthias@netsensei.nl (Matthias Vandermaesen) — Tue, 18 Jul 2006 18:26:18 +0000

Ik heb daarjuist de .htaccess file dichtgetimmerd tegen spammers. Ik heb willen merken dat er in de afgelopen 18 dagen 1Gb aan data is versluisd. Webalizer toonde dat het gros naar allerlei bots gaat. Bovendien zitten de logfiles vol spam.

Via de .htaccess file kan je mensen op basis van een aantal variabelen toegang ontzeggen tot je website. Ik heb een beetje rondgespeurd op het Net en het beste van verschillende praktijken gecombineerd:

Er zit een vrij indrukwekkende blacklist op bepaalde woorden in de referer
Er is een lijst met ip’s van gekende spammers. Niet dat die zo hulpzaam is want spammers muizen er sowieso vanonder door regelmatig met een andere ip te opereren.
Tenslotte wordt er ook gediscrimineerd op basis van de user agent string van een referer hit. Hoewel die gemakkelijk te maskeren valt, is het toch nuttig om een aantal commerciële bots zoals larbin, turnitin, aipbot die géén direct nut hebben buiten te sluiten, Ook hits zonder een user agent string worden geweerd: het is nogal lomp om de robots.txt standaard niet te volgen.

Voor zover ik via de logfiles kan volgen heb ik willen merken dat leukers met een referer waarin “texas-holdem” en zo, lekker worden afgeblokt. Ik kan het zo ver drijven door spammers zo ver te drijven dat alle traffiek die deze kant opkomt, gewoon terug richting afzender wordt gestuurd. Alleen weet ik dat dat spammers niet tegenhoudt en ik het dubbel zo hard terug zou krijgen. Ik ben nu al blij dat het zo ook al vrij goed lijkt te werken.

Moesten er nu mensen opeens niet meer op mijn blog geraken: geef me een seintje! Het kan zijn dat je afgeblokt wordt door de strikte filter!

Ter referentie: dit is de .htaccess file die ik als basis heb gebruikt.

User Agent String on Netsensei

Referer spam