Ignoriert google meine Seitenausschlüsse in robots.txt ?

Beitrag von **McMillion** » 24.01.2013, 11:03

Ich habe in meinem Shop technisch bedingt leider einige Doppel-Contents und habe einige Seiten testweise schon vor ein paar Wochen in die Robots.txt eingetragen. Leider scheint das google aber irgendwie zu ignorieren und führt die Seiten weiterhin in den Webmastertools mit doppeltem Title-Tag. Es heißt ja, es dauert einige Tage, bis der google Bot wieder vorbeikommt, aber ich habe diese Änderungen nun schon vor 3 Wochen gemacht und es tut sich einfach nichts.

Woran kann das liegen?

von **Anzeige von ABAKUS** »

Beitrag von **eure_dudeheit** » 24.01.2013, 11:19

Die vorgeschlagenen HTML-Verbesserungen in den Webmaster Tools werden leider nur langsam aktualisiert. Das kann schon mal 2-4 Wochen dauern. Einfach abwarten und Tee trinken

Beitrag von **WilliWusel** » 24.01.2013, 17:03

Bereits gespiderte und im Google-Index befindliche Seiten lassen sich nachträglich nicht per robots.txt ausschließen.

Ich schlage vor, Google per canonical tag die jeweils gültige Seite mitzuteilen.

von **Anzeige von ABAKUS** »

Beitrag von **she** » 24.01.2013, 17:26

Hast du das mit disallow ausgeschlossen? Damit erlaubst du Google nur nicht zu crawlen, jedoch die indexierung. Für google kannst du in die robots.txt einfach noch noindex: /seite/ geben, dann ist das bei google raus. allerdings fressen das nicht alle suchmaschinen. wenn es bei allen raus soll, würde ich das disallow in der robots.txt raus (sonst wird das noindex später nicht gefunden) nehmen und in den meta-head die robots auf noindex,nofollow setzen. Dann einmal neu den Bot drüber jagen (WMT) und ein paar Wochen später sollte es raus sein.

Generell kann das trotzdem recht lange dauern, bis Google das frisst.

Beitrag von **McMillion** » 25.01.2013, 11:46

Ich habe keine Ahnung, wie ich in meinem Shop (Contao-Webshop) einen canonical tag einfügen soll. Die doppelten Contents kommen ja z.B. durch Artikel-Listen-Seiten zustande, bei denen eine Artikelliste so viele Artikel umfasst, dass diese auf mehrere Seiten verteilt werden. Ich kann also die Seiten, die doppelten Content aufweisen nicht separat bearbeiten. Zumindest weiß ich nicht, wie das gehen soll.

Die Lösung von "she" mit noindex wäre da eher durchführbar, das werde ich mal versuchen. Muss mir das mal in Ruhe anschauen.