Verdrängt MSN Google beim Indexieren?

[Scubi]

Hallo,

ich nutze wie sicher auch andere die Datei tracker.php die mir für jeden Besuch einer Suchmaschine ne Mail sendet.

Dabei ist mir aufgefallen...das Google ne ganze zeit macht..bis dann der MSN kommt.

Ist es sinnvoll bei ""neuen Projekten"" den MSN auszusperren wenn man sieht , daß dieser sich schon zichmal alles geholt hat?

Ich kann es mir nicht erklären wie das gehen soll...ich sehe nur jedesmal...kommt MSN verschwindet Google...der mir wesentlich wichtiger ist.

Inktomi holt sich z.B. immer zwei Seiten....wenn MSN auf dem Server wurschtelt.

Wisunet ist dagegen unkalkulierbar...der holt..verschwindet...aber MSN ist den ganzen Tag da.

Hat da mal jemand nen Vorschlag was zu tun ist?

Gruß Scubi

[Norbert-cms]

...

[firestarter]

Also bei mir hat MSN google seltsamerweise nur auf Onlineshops überholt.
Planen die vielleicht eine Konkurrenz zu Froogle?

AUf allen anderen Seiten siehts wie immer normal aus.

[LinkPop]

@ Scubi

Darüber wurde ja bereits schon mal geschrieben. Es ist natürlich völliger Quatsch, dass Google verschwindet, sobald msn auftaucht! Google kann doch gar nicht wissen, was auf Deinem Server los ist und interessiert Google doch auch gar nicht, ob da noch andere Crawler oder User oder sonst was unterwegs sind.

Die einzig plausible Erklärung für diesen "Zufall" _könnte_ sein, dass Dein Server sowas von in die Knie geht, wenn msn spidert, dass es Google zu lange dauert (Gerüchte) und verschwindet, um später wiederzukommen. Wenn das so ist/sein sollte, dann solltest Du Dir mal darüber Gedanken machen.

[Scubi]

Mein Provider hat gerade nen schnelleren Server besorgt. Daran kann es eigentlich nicht liegen.

Wie Firestarter es oben auch schreibt: Bei meinen Onlineshops hat MSN klar die Oberhand.

MSN hat jetzt mittlerweile alles doppelt und dreifach indexiert.

Darum meine Frage: Würde es sinn machen MSN erstmal auszusperren???

Gruß Scubi

[mark]

hallo Scubi
Da momentan keiner weiß was mit den msn Ergebnissen passiert, bzw. wann diese irgendwo sichtbar werden, würde ich ihn machen lassen. Vielleicht kommt da ja was.
Also so lang er nicht stört oder zu viel traffic macht mal machen lassen.


gruß mark

[LinkPop]

Falls zuviel Traffic durch msn verschleudert wird, die Angabe:

User-Agent: msnbot
Crawl-Delay: 20

bremst den Bot wirklich aus! Ich hab's seit gestern in der robots.txt drin und stelle deutliche Unterschiede fest. Der Bot ist nach wie vor 24h am crawlen, aber schön ruhig.

Mich würde mal interessieren, welche Maschinerie MSN da hochgezogen hat? Langsam glaube ich hier hat jeder seinen eigenen Bot bekommen

[regeurk78]

Jepp, msnbot führt im direkten Duell, aber seine Art zu indizieren ist wirklich ungestüm. Mal schauen was da kommt. Wenn ich am Start mit allen Seiten drin bin, ists auch gut

[Scubi]

@ link pop

Deine Robot Anweisung hilft wirklich. Jetzt kommen auch mal die anderen dran.
Nur google will sich nicht blicken lassen.

Mal sehen wie es morgen aussieht.

Gruß Scubi