Google spidert zu schnell - Serverlast zu hoch!

[SeoBlogger.de]

Ohne alles gelesen zu haben:
ich hab da mal kurz was programmiert und in meinem Blog abgelegt.
Ist eine quick-and-dirty-lösung die wohl den meisten reichen sollte:
https://www.seoblogger.de/310-googlebot ... machen.htm

[Nuevo Niveau]

Code: Alles auswählen

if (stristr($_SERVER[’HTTP_USER_AGENT’] , “Googlebot”)) sleep(3);

Also, ich bin ja "Teufel an die Wand mal und gleich ausflipp typ" - aber ich würde stark davon abraten, den Googlebot auszubremsen, es soll auch bewiesenermaßen einen Filter geben der "Ladezeit" heißt

Überhaupt, was soll der Nippes - wer ernsthaft online Geld verdient, der soll sich gefälligst auch fette Hartware holen, oder?

[SeoBlogger.de]

seh ich genauso, aber wers braucht

[SusanneMelzer]

Find ich interessant, dass ich nicht der einzigste bin der so ein Probleme hatte oder hat.

Das Script werde ich morgen mal probieren....mal gucken was er dazu sagt. Er hat heute breits 7000 Seiten gespidert.....

Er ist dauerhaft präsent, merkwürdigerweise immer mit der gleichen IP. Es war noch nie ein anderer mit einer anderen IP da.

[Fridaynite]

Ich sag es Dir nochmal: 7000 Seiten am Tag sind lächerlich für JEDEN Server. Das Problem ist Dein Script, nicht der Server. Ein normaler moderner Webserver verträgt locker 1 - 2 Mio Bots am Tag. Nur so zusammengefummelte Scripts wie Pligg oder ähnlicher Schrott versaun die Performance.

[Scubi]

Ich weis ja nicht, wie genau du deine Logs anschaust... aber, bei uns hat bot trap den Server um ca. 60% entlastet.

Gruß Scubi

[jr]

7000 Seiten am Tag mögen für einen Server lächerlich sein. 50.000 pro Account beim Shared Hosting sind aber sicher kein Spaß mehr. Vor allem, wenn die Dateiaufrufe keinen Sinn ergeben und scheinbar nur irgendwelche Funktionen abgearbeitet werden, koste es was es wolle.

Ich habe dem Googlebot jetzt vorerst die Luft ganz abgedreht. Es muß nicht sein, daß er zunächst zigtausend mal eine für die Suchergebnisse unsinnige Funktion abruft und dann gleich mit der nächsten weitermacht. Selbst als es nach einigen kleinen Eingriffen 403er und 404er hagelte, gab der Bot sich nicht zufrieden und rief die Dateien unverdrossen und zigtausendfach weiter auf.

Ohne daß ich mich näher mit der Funktionsweise des Bots beschäftigt habe: Wo ist der Sinn, wenn der (oder von mir aus auch ein) Bot plötzlich jeden Tag die gleichen Seiten und damit auch die gleichen Inhalte mehrfach durchsucht? Dadurch gehen ja nicht nur mir Kapazitäten verloren, auch die Google-Leitungen glühen sinnlos.

Jahrelang gab es für mich keinen Anlaß zu Beschwerden, aber in den letzten zwei Wochen wurde das Benehmen des Bots wirklich lästig.

[seonewbie]

Hallo,

da ist irgendwas ausserhalb der Reihe. Bei mir hat der
Googlerisch gestern auf einem fetten Doppel Proz
mit Debian stable to many sql connection hin bekommen ...

Das war noch nie ... vielleicht "VFPRU" ... very fast pagerank update

Gruß

Micha

[seonewbie]

Apropo ... vielleicht der Test Ladezeit als Ranking Kriterium ?

Klingt blöd aber warum sollten die sonst das Vieh scharf
wie einen Höllenhund die Sitemaps unserer Server lesen
lassen.

Gruß

Micha

[wowglider]

7000 Seiten am Tag mögen für einen Server lächerlich sein. 50.000 pro Account beim Shared Hosting sind aber sicher kein Spaß mehr. Vor allem, wenn die Dateiaufrufe keinen Sinn ergeben und scheinbar nur irgendwelche Funktionen abgearbeitet werden, koste es was es wolle.

Ich habe dem Googlebot jetzt vorerst die Luft ganz abgedreht. Es muß nicht sein, daß er zunächst zigtausend mal eine für die Suchergebnisse unsinnige Funktion abruft und dann gleich mit der nächsten weitermacht. Selbst als es nach einigen kleinen Eingriffen 403er und 404er hagelte, gab der Bot sich nicht zufrieden und rief die Dateien unverdrossen und zigtausendfach weiter auf.

Ohne daß ich mich näher mit der Funktionsweise des Bots beschäftigt habe: Wo ist der Sinn, wenn der (oder von mir aus auch ein) Bot plötzlich jeden Tag die gleichen Seiten und damit auch die gleichen Inhalte mehrfach durchsucht? Dadurch gehen ja nicht nur mir Kapazitäten verloren, auch die Google-Leitungen glühen sinnlos.

Jahrelang gab es für mich keinen Anlaß zu Beschwerden, aber in den letzten zwei Wochen wurde das Benehmen des Bots wirklich lästig.

Wenn ich sowas lesen, kennst du die Robots.txt? Damit kannst du dem Bot sagen was er Crawlen soll und was nicht, benutze es, hoffentlich kickt die Google für diese Frechheit

[jr]

Damit kannst du dem Bot sagen was er Crawlen soll und was nicht,

Nur wenn er sich daran hält. Das oben erwähnte "Sleep" scheint ja Folgen zu haben, "delay" wohl nicht bei jedem Bot. Wenn ich aber die IP sperre und selbst das keinen Einfluß auf die Anzahl der Aufrufe hat, dann finde ich das eben weniger gut.

hoffentlich kickt die Google für diese Frechheit

Muß ich den Bot jetzt mit "Eure Hoheit" ansprechen?

Im übrigen - hier ist schon die nächste Anfrage zum Thema:
https://www.abakus-internet-marketing.d ... 51523.html

Massen-Crawling ist in meinen Augen nichts anderes als Massen-Mails. Sinn- und nutzlos, Ressourcen-Verschwendung.

[SeoBlogger.de]

jetzt wirds insgesamt wirklich lächerlich...

[SusanneMelzer]

lächerlich finde ich das nicht.....

Die Crawlinggeschwindigkeit wurde geändert und jetzt arbeitet er langsamer, was auch gleich zu merken ist. Serverlast wieder runter!

Allerdings hat er jetzt innerhalb von 24h insgesamt rund 17500 Seiten gespidert.......




Ich meine, solange die Serverlast nicht wieder so hochkocht ist das auch ok, aber so muß ich jeden Monat wieder zurückstellen auf langsam, ist auch blöd.

[Ju-Hu!]

Tja, irgendwie werde ich die Vermutung nicht los, daß Google nun doch auf Aktualität Wert legt und Websites mit Spiderbesuchen zuspamt *g*

Zieht Euch alle warm an *g*