Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Rumaenische Scraper auf dem Vormarsch..

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Kristian
PostRank 9
PostRank 9
Beiträge: 1484
Registriert: 20.07.2005, 16:30

Beitrag von Kristian » 17.02.2008, 19:08

Hallo

Bei näherer Betrachtung sehe ich bei diesen Lösungen 2 Schwachstellen.
1.) Wenn man via iptables die Zugriffe checkt wird es krumm, wenn normale User die vielen kleinen Images laden, die z.B. Buttons zur Navigation sind, der Bot des Scrapers aber nur den HTML-Code will und die Bilder auslässt.
2.) Die Scripte arbeiten alle mit dem Dateisystem um ein Logfile/Memory zu haben, das bremst.

Es sieht so aus als müsste man mal selbst was schreiben ;-)
Ich mach's dann mal für Perl.

Gruss
Kristian

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Airport1
PostRank 10
PostRank 10
Beiträge: 4489
Registriert: 16.08.2004, 18:50
Wohnort: Backnang / bei Stuttgart

Beitrag von Airport1 » 17.02.2008, 20:10

ddos.sh ist im grunde ein shell-script, fraegt netstat ab und fuettert dann gleich mit den erkenntnissen iptables bzw. apf. selbst wenn du ein script in perl schreibst braucht das wahrscheinlich mehr cpu power, memory und sonstwas als dieses kleine putzige shell script ;)
Linktauschanfragen zwecklos
https://www.bot-trap.de/ Spamschutz fuer Webmaster - zentrale Meldestelle fuer Web Spam
https://www.airport1.de/blog/ Lombagruschd Blog mid Gardadierle
https://www.ranking-hits.de/ Counter & PR Service

Kristian
PostRank 9
PostRank 9
Beiträge: 1484
Registriert: 20.07.2005, 16:30

Beitrag von Kristian » 17.02.2008, 20:45

Hallo

Es bleibt auf jeden Fall die Problematik des Zugriffs durch User auf viele Dateien und des Scrapers nur auf das Script.

Ob ich in Perl mehr CPU-Power brauche als ein Shell-Script, ich will es anzweifeln.
Mehr Ram brauche ich auf jeden Fall, da ich ja nicht über eine Datei gehen will, sondern den Ram stattdessen nutze. ;-)
Allerdings erwarte ich den Vergleich Dateisystem <=> RAM etwa wie 1:50.

Meine Lösung ist als Erweiterung für bestehende Perl-Anwendungen gedacht.
Ich gehe davon aus, das die Abfrage deutlich unter 1/100 Sekunde dauern wird.
(Der erste Hack ist fertig, ich werde es mal benchmarken)

Gruss
Kristian