Bei näherer Betrachtung sehe ich bei diesen Lösungen 2 Schwachstellen.
1.) Wenn man via iptables die Zugriffe checkt wird es krumm, wenn normale User die vielen kleinen Images laden, die z.B. Buttons zur Navigation sind, der Bot des Scrapers aber nur den HTML-Code will und die Bilder auslässt.
2.) Die Scripte arbeiten alle mit dem Dateisystem um ein Logfile/Memory zu haben, das bremst.
Es sieht so aus als müsste man mal selbst was schreiben

Ich mach's dann mal für Perl.
Gruss
Kristian