ich habe ein deutsches Forum, das seit neustem unheimlich viel von Yahoo und MSN indexiert wird. Da über Yahoo und MSN kaum Besucher kommen, die aber einen nicht zu vernachlässigen Traffic verursachen, möchte ich nun Yahoo & MSN aussperren.
Code: Alles auswählen
User-agent: Inktomi Slurp
User-agent: MSNBot
Disallow: /
Allow: /index.html
User-agent: *
Disallow:
Ich möchte die index.html indexieren lassen, damit die Seite bei Yahoo & MSN wenigstens im Index bleibt. Google soll uneingeschränkten Zugriff behalten, ist dann so alles korrekt formuliert? Werden die bereits indexxierten Unterseiten dann von MSN & Yahoo aus dem Index gekickt bzw. wie lange dauert das?