MSN-Bot zügeln mit neuem Befehl für robots.txt

[viggen]

Laut msndude bei WMW gibt es einen undokumentierten (da neuen) Befehl der das leidige Thema (MSN Bot crawlt zu schnell und so viel) beseitigt.

User-Agent: msnbot
Crawl-Delay: 20

Mit diesem Befehl kann man angeben (dieses Beispiel 20 sekunden) nach wieviel Sekunden der MSN Bot die nächste Seite crawlen soll.

Dies ist ein wirklich nützlicher Befehl der den aggressiven MSN Bot im Zaum halten wird.

mfg
viggen

[Wuppi]

Hi

hört sich interessant an - gibt es dabei einen Hacken? Ich hoffe ja bei MSN irgendwann mal in den Index zu kommen (der bot muß schon min. das Forum 2mal komplett gespidert haben *G* - aber null ergebniss) ... wenn ich doch jetzt nen Limit setze, hab ich den Bot doch wirklich 24h bei mir => da er pro Seite nun länger braucht?

Oder hab ich da was nicht verstanden?

Bis denne
Wuppi

[viggen]

Laut der Aussage von msndude, wird der Zeitabstand dadurch festgelegt zwischen den einzelnen Crawlsessions.

Wenn du ihn z.B. auf 60 setzt wird also nur jede Minute eine Seite gecrawlt. Das heisst er crawlt nur 1440 Seiten am Tag. (In Theorie, wie es in der Praxis dann aussieht wird sich zeigen).

Das ein Bot 24h auf der Seite ist, ist ja nix schleches und wenn er sich an die Zeitabstände hält wird die Bandwidht geschont und trotzdem alles gespidert.

mfg
viggen

[Wuppi]

Hi

na wenn er sich so lange aufhält, soll er sich gefälligst anmelden *G*

Naja ich probiers mal mit dem Eintrag ...

Bis denne
Wuppi

[Wuppi]

Hi

den Befehl gestern Nachmittag in die robots.txt gepackt - der Bot ist natürlich immer noch da - aber er macht nicht mehr diesen aggressiven Eindruck

Bis denne
Wuppi

[LinkPop]

@viggen - Danke für diese Info!

Auf einigen Domains mit mehreren tausend Seiten ist der msnbot bei mir sowieso schon 24h/Tag - ich wollte ihn nicht aussperren, da ich gespannt auf den MSN-Start warte und warte und warte

Wenn MSN überall so loslegt, müßten die jetzt bereits mehr Seiten als Google in Ihrer DB haben, denn Google spidert ja viele tiefere Ebenen erst dann, wenn auf der Index genügend PR vorhanden ist (oder mit hohem PR angelinkt wird) - MSN spidert aber sofort alle Ebenen - sehr gierig - und ich kenne keine Domain, auf welcher sich msn nicht austobt.

Ich glaube, wenn MSN die Websuche in zukünftige Betriebssysteme direkt integriert, wird das für ihre Suchmaschine ein voller Erfolg, selbst wenn die Ergebnisse auch noch so schlecht sind. Warum, dürfte uns allen hier klar sein.

[Wuppi]

Hi

denke auch das die neue MSN-Suchmaschine ein Erfolg wird - aber eher so nen Zwangserfolg (integration ins Betriebsystem - Explorer) - trotzdem Erfolg ist Erfolg ...

MSN ist bei mir teilweise auch schon 24h am Stück - langsam müsste ihm eigentlich das Futter ausgehen ....

Hab so die Vermutung das MSN ganz groß die neue SuMa starten wird - und so wie bei google "©2004 Google - Suche auf 4,285,199,774 Web-Seiten" unten steht, wir bei MSN " .... suche auf 5,000,000,000 Web-Seiten" stehen ......... nen Zweitrangigen einstieg können die sich kaum leisten

Bis denne
Wuppi

[Jojo]

Die MSN-Suche ist doch noch gar nicht verfügbar? Oder wo willst du dich eintragen Wuppi? Benutzen die nicht noch irgend einen anderen Index? Inktomi oder so? Oder liege ich da jetzt falsch?

Ich bin mir nicht sicher ob MS die Suchmaschine in das Betriebssystem integriert. Schon um den IE gab es massenweise Prozeße. Wenn die Suchmaschine integriert wird, wird es noch extremer werden, weil dieser Schritt noch schwerer zu begründen sein wird. Man darf in diesem Punkt gespannt sein.

Ich denke auch das MS versuchen wird mit einem MegaSchlag in das Suchmaschinengeschäft einzudringen. Und man wird versuchen dort von Anfang an ein exellentes Produkt abzuliefern und sich dementsprechen Entwicklungszeit und Investitionen gönnen. Und das ist für Google/Yahoo mindestens genauso gefährlich wie eine mögliche Integration in Windows.

[stp69]

Moin Moin,

auf einem recht neuen Projekt, ca 8 Wochen im Netz und von einer unserer PR4 Seiten mit einem Link veröffentlicht, hat der MSN bereits das Angebot ( 10.000 Pages) mehrfach gespidert, Google hat nur für 1000 Seiten Zeit und Lust gehabt... da wir auf diesem Prjekt leider keine Sumafreundlichen URL an haben (/product_info.php?products_id=1 ) gebe ich Google auch mehr Zeit... ich denke mal in zwei bis drei Monaten werden wir hier erfolgreicher stehen. Dem was Microsoft uns in Form einer Wettbewerbsfähigen Googlealternative anbieten möxhte stehe ich mit sehr großer Erwartung gegenüber

[Sephyra]

Hab bei mir vorgestern mal in die robots.txt den msn-bot mit deleay: 60 eingetragen. Mitten in der gestrigen Nacht war er dann das letzte Mal da. Ups, er wird doch wohl nicht beleidigt sein, wenn man ihn zügelt.