Crawler / Spiders / Bots : Wer nervt mich da ?

[Paune]

Hallo!

Ich hatte jetzt bereits zum dritten Mal folgendes Problem:
Immer Montags, etwa zur gleichen Zeit, beginnen ca. 15 externe Systeme gleichzeitig damit, Content meiner Website aufzurufen. Dies machen die mit einer derartigen Geschwindigkeit (jedes der 15 externen Systeme ruft pro Sekunde ca. 10 Webseiten auf – dabei werden immer unterschiedliche Webseiten aufgerufen, die gleichen niemals doppelt), dass sich mein Server extrem verlangsamt. Nach einigen Minuten ist der Spuk dann wieder vorbei.

Die aufrufenden IPs stammen alle von Virtuellen Servern bei Host Europe. Alle Systeme agieren als "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1".

Hier sind mal einige dieser IPs aufgeführt:
87.230.85.124
87.230.93.166
87.230.25.162
87.230.24.211
87.230.85.25
87.230.25.5
92.51.165.87
92.51.145.23
92.51.135.62
92.51.145.30
92.51.131.38

Bevor ich die IPs einfach durch meine Firewall sperre wollte ich hier noch einmal nachfragen:
Kann einer von euch mit diesen IPs etwas anfangen? Ist das vielleicht ein Crawler einer bekannten Suchmaschine, der etwas verrückt spielt?

[bennos]

schreibe doch mal an net-abuse@hosteurope.de

sollte der Netzadmin sein.
Erkläre deine Lage, mit der Bitte dies zu unterlassen.

Bei Hosteurope werden keine Crawler von Google & CO gehostet.

[Paune]

Danke für die Antworten.

Ich werde jetzt erst einmal die empfohlenen IP-Adressen sperren und in Kontakt mit HE treten.

Was mich allerdings wundert ist, das sich dein Server dermassen laut deiner Aussage verlangsamt

Am besten mal ne Alternative dazu suchen sonst ist bald Schicht im Schacht

Ist das wirklich so schlecht wenn sich ein Server der "letztjährigen Einstiegsklasse" bei konstant 150 Seitenaufrufen pro Sekunde über mehrere Minuten hinweg "etwas schwertut"? Auf den Tag hochgerechnet wären das immerhin 12.960.000 Seitenaufrufe
Mit meinen normalen ~ 10.000 Besuchern / ~ 50.000 Seitenaufrufen pro Tag habe ich zumindest nicht die geringsten Probleme und noch reichlich Kapazität für ein natürliches Wachstum nach oben.

Wenn das aber wirklich ein atypisches Leistungsverhalten meines Servers ist, muss ich vielleicht wirklich mal etwas mehr an Optimierung, Cache-Verfahren oder gleich einen stärkeren Server denken.

Es handelt sich übrigens nicht um statische html Seiten sondern um dynamisch generierte Seiten eines PHP basierenden CMS mit einer MySQL Datenbank.

[bennos]

kenne dein Projekt nicht, aber bei statischer Auslieferung sollte der Webserver das spielend schaffen.

Bei dynamischer Auslieferung mit PHP und MySQL wirst du schon Lastprobleme bekommen, aber alles ist abhängig von der Komplexität des Projektes.

[noobs1234]

wie kann sowas rausfinden? welcher crawler gerade auf meiner seite ist usw... kann man es irgendwo schauen? danke euch

[Anonymous]

in den log-files steht sowas drin. kann man aber auch tracken via. etracker, piwik, analytics or so.

[Hobby_SEO79]

Da musst Du Deine Logfiles auswerten. Hierzu gibts meist in deinem rootverzeichnis einen Unterordner logs bzw. je nach Einstellung der Serverkonfiguration.

@Edit
War jemand schneller

[noobs1234]

boar super nett! aber kleine frage, wo in analytics, kann ich es mir anschauen? super danke euch