Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Rumaenische Scraper auf dem Vormarsch..

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Kristian
PostRank 9
PostRank 9
Beiträge: 1484
Registriert: 20.07.2005, 16:30

Beitrag von Kristian » 17.02.2008, 19:08

Hallo

Bei näherer Betrachtung sehe ich bei diesen Lösungen 2 Schwachstellen.
1.) Wenn man via iptables die Zugriffe checkt wird es krumm, wenn normale User die vielen kleinen Images laden, die z.B. Buttons zur Navigation sind, der Bot des Scrapers aber nur den HTML-Code will und die Bilder auslässt.
2.) Die Scripte arbeiten alle mit dem Dateisystem um ein Logfile/Memory zu haben, das bremst.

Es sieht so aus als müsste man mal selbst was schreiben ;-)
Ich mach's dann mal für Perl.

Gruss
Kristian