Webalta Crawler on Netsensei https://www.netsensei.be/tags/webalta-crawler/ Recent content in Webalta Crawler on Netsensei Hugo -- gohugo.io nl-NL matthias@netsensei.nl (Matthias Vandermaesen) matthias@netsensei.nl (Matthias Vandermaesen) Tue, 05 Feb 2008 23:17:15 +0000 WebAlta Robot https://www.netsensei.be/2008/02/06/webalta-robot/ Tue, 05 Feb 2008 23:17:15 +0000 matthias@netsensei.nl (Matthias Vandermaesen) https://www.netsensei.be/2008/02/06/webalta-robot/ <p>Hm. Spiders en robots zuigen als ze je site bombarderen met bezoekjes. Neem nu WebAlta Crawler. Die is écht wel onbeschoft en loopt de deur hier gewoon plat. Ik zou die dus graag blokkeren in robots.txt. Jammer genoeg vind ik niet meteen de juiste UA string. En ik ontzie het wat om te knoeien met ip’s in de htaccess. Lazyweb? Anyone?</p>