Wieso klappt disallow hier nicht?

Beitrag von **Babis** » 02.04.2010, 14:28

Ich habe erstmal die Variante mit der robots.txt versucht und den Link rausgenommen, bis die robots.txt von Google aktualisiert wurde. Dies ist aber schon gestern Abend geschehen und vom Googlebot habe ich jetzt auch Ruhe. Hatte noch eine Email im Postfach vom Yahoobot ausgelöst, aber damit kann ich leben solange bis yahoo die robots.txt auch aktualisiert hat...

von **Anzeige von ABAKUS** »

Beitrag von **Synonym** » 02.04.2010, 17:53

Das kann dauern, funktioniert aber schon. Nur wenn dann die hundert anderen Bots kommen die die Seite abgrasen, dann gibt es wieder eine Email-Flut und von den Spam-Bots hält sich so gut wie keiner an die robots.txt. Daher lieber gleich eine vernünftige Lösung suchen.