Crawler / Spiders / Bots : Wer nervt mich da ?

Beitrag von **Paune** » 05.10.2009, 18:26

Hallo!

Ich hatte jetzt bereits zum dritten Mal folgendes Problem:
Immer Montags, etwa zur gleichen Zeit, beginnen ca. 15 externe Systeme gleichzeitig damit, Content meiner Website aufzurufen. Dies machen die mit einer derartigen Geschwindigkeit (jedes der 15 externen Systeme ruft pro Sekunde ca. 10 Webseiten auf – dabei werden immer unterschiedliche Webseiten aufgerufen, die gleichen niemals doppelt), dass sich mein Server extrem verlangsamt. Nach einigen Minuten ist der Spuk dann wieder vorbei.

Die aufrufenden IPs stammen alle von Virtuellen Servern bei Host Europe. Alle Systeme agieren als "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1".

Hier sind mal einige dieser IPs aufgeführt:
87.230.85.124
87.230.93.166
87.230.25.162
87.230.24.211
87.230.85.25
87.230.25.5
92.51.165.87
92.51.145.23
92.51.135.62
92.51.145.30
92.51.131.38

Bevor ich die IPs einfach durch meine Firewall sperre wollte ich hier noch einmal nachfragen:
Kann einer von euch mit diesen IPs etwas anfangen? Ist das vielleicht ein Crawler einer bekannten Suchmaschine, der etwas verrückt spielt?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **bennos** » 05.10.2009, 18:31

schreibe doch mal an net-abuse@hosteurope.de

sollte der Netzadmin sein.
Erkläre deine Lage, mit der Bitte dies zu unterlassen.

Bei Hosteurope werden keine Crawler von Google & CO gehostet.

Beitrag von **Paune** » 05.10.2009, 20:10

Danke für die Antworten.

Ich werde jetzt erst einmal die empfohlenen IP-Adressen sperren und in Kontakt mit HE treten.

Smolka hat geschrieben: Was mich allerdings wundert ist, das sich dein Server dermassen laut deiner Aussage verlangsamt

Am besten mal ne Alternative dazu suchen sonst ist bald Schicht im Schacht

Ist das wirklich so schlecht wenn sich ein Server der "letztjährigen Einstiegsklasse" bei konstant 150 Seitenaufrufen pro Sekunde über mehrere Minuten hinweg "etwas schwertut"? Auf den Tag hochgerechnet wären das immerhin 12.960.000 Seitenaufrufe

Mit meinen normalen ~ 10.000 Besuchern / ~ 50.000 Seitenaufrufen pro Tag habe ich zumindest nicht die geringsten Probleme und noch reichlich Kapazität für ein natürliches Wachstum nach oben.

Wenn das aber wirklich ein atypisches Leistungsverhalten meines Servers ist, muss ich vielleicht wirklich mal etwas mehr an Optimierung, Cache-Verfahren oder gleich einen stärkeren Server denken.

Es handelt sich übrigens nicht um statische html Seiten sondern um dynamisch generierte Seiten eines PHP basierenden CMS mit einer MySQL Datenbank.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **bennos** » 05.10.2009, 20:26

kenne dein Projekt nicht, aber bei statischer Auslieferung sollte der Webserver das spielend schaffen.

Bei dynamischer Auslieferung mit PHP und MySQL wirst du schon Lastprobleme bekommen, aber alles ist abhängig von der Komplexität des Projektes.

Beitrag von **noobs1234** » 18.10.2009, 15:59

wie kann sowas rausfinden? welcher crawler gerade auf meiner seite ist usw... kann man es irgendwo schauen? danke euch

Beitrag von **Anonymous** » 19.10.2009, 10:54

in den log-files steht sowas drin. kann man aber auch tracken via. etracker, piwik, analytics or so.

Beitrag von **Hobby_SEO79** » 19.10.2009, 10:54

Da musst Du Deine Logfiles auswerten. Hierzu gibts meist in deinem rootverzeichnis einen Unterordner logs bzw. je nach Einstellung der Serverkonfiguration.

@Edit
War jemand schneller

Beitrag von **noobs1234** » 19.10.2009, 13:43

boar super nett! aber kleine frage, wo in analytics, kann ich es mir anschauen? super danke euch