ABAKUS

Bei mir sehe ich seit einigen Tagen, wenn ich ich in meine LogFiles schaue, dass der MSNBot BOT täglich mehfach auf meiner seite ist.
Mit Mehrfach meine ich nicht 1 mal mehrmals sondern

10-20 mal GLEICHZEITIG immer und immer wieder.... das nervt voll ab! reicht nicht 2, 3 mal?! Wie kann ich das limitieren oder sollte man das nicht. Aber das mir eindeutig zum viel!

MrDevil hat geschrieben:10-20 mal GLEICHZEITIG immer und immer wieder.... das nervt voll ab! […] das mir eindeutig zum viel!

Wieso? Ist vielleicht nicht schön, aber sowas muss dein Server schon abkönnen. Einfach ignorieren. Und dass es der msnbot ist und nicht irgendein Wicht, hast du sichergestellt?

Verkraftet dein Server das nicht oder was, msn ist ja noch nix, wenn der Yandex kommt und Google zusammen dann gibts geschwindigkeitsverluste und so wie der Yandex täglich 5000 seiten Crawlt.

Ich ärgere denn mal öfters.

MrDevil hat geschrieben:10-20 mal GLEICHZEITIG immer und immer wieder....

Was meinst Du genau damit?
10-20 Mal gleichzeitig jede Sekunde?
Also 600-1200 Mal in der Minute?

MrDevil hat geschrieben:Bei mir sehe ich seit einigen Tagen, wenn ich ich in meine LogFiles schaue, dass der MSNBot BOT täglich mehfach auf meiner seite ist.
Mit Mehrfach meine ich nicht 1 mal mehrmals sondern

10-20 mal GLEICHZEITIG immer und immer wieder.... das nervt voll ab! reicht nicht 2, 3 mal?! Wie kann ich das limitieren oder sollte man das nicht. Aber das mir eindeutig zum viel!

Ist schon nervig die ganzen Bots.

Ich löse das immer mit einem Eintrag in der robots.txt
Schreib einfach nur rein:
User-agent: *
Disallow: /

Viktor1982 hat geschrieben:Verkraftet dein Server das nicht oder was, msn ist ja noch nix, wenn der Yandex kommt und Google zusammen dann gibts geschwindigkeitsverluste und so wie der Yandex täglich 5000 seiten Crawlt.

Ich ärgere denn mal öfters.

...du bist mein Held. Ganz ehrlich.

Die Bots nerven einfach: Deshalb stelle ich jedes Projekt im Internet offline.

Klar - die Seiten sind nur noch über Zugangsdaten erreichbar, aber den Sumas habe ich ein Schnippchen geschlagen...

r-alf hat geschrieben:
Ist schon nervig die ganzen Bots.

Ich löse das immer mit einem Eintrag in der robots.txt
Schreib einfach nur rein:
User-agent: *
Disallow: /

Das ist doch vollkommen verständlich das ein Webmaster dann schon mal zu radikalen Lösungen greift. Im realen Leben nimmt doch auch keiner Hausfriedensbruch so einfach hin - was denken sich die ganzen Bots eigentlich.

Schnipsel hat geschrieben:

r-alf hat geschrieben:
Ist schon nervig die ganzen Bots.

Ich löse das immer mit einem Eintrag in der robots.txt
Schreib einfach nur rein:
User-agent: *
Disallow: /

Das ist doch vollkommen verständlich das ein Webmaster dann schon mal zu radikalen Lösungen greift. Im realen Leben nimmt doch auch keiner Hausfriedensbruch so einfach hin - was denken sich die ganzen Bots eigentlich.

Ich bin kein Webmaster - sondern Frisör aus Kleinsteinbach.

Schnipsel komm doch einfach mal vorbei, dann brauchst du auch das Piratentuch nicht mehr auf dem Kopf...

PSI hat geschrieben: Ich bin kein Webmaster - sondern Frisör aus Kleinsteinbach.

Schnipsel komm doch einfach mal vorbei, dann brauchst du auch das Piratentuch nicht mehr auf dem Kopf...

Gerne... wenn du mit der Webtechnik vertraut bist darfst du gerne paar zusätzliche Fäden einweben.

Ist den bei euch auch so, das der Bot seid heute auf einmal so aktiv ist ?

Normalerweise kommt er bei mir einmal vorbei, aber jetzt auf einmal heute öfters.


Ich habe nix anderes gemacht, ausser das ich den unnutz auf noindex gesetzt habe.

MrDevil: einfach crawlrate in der robots.txt definieren

//
User-agent: MSNbot
Crawl-delay: 1
//


No crawl delay set, Normal

1, Slow

5, Very slow

10, Extremely slow