Seite 1 von 1
Google ignoriert robots.txt
Verfasst: 11.12.2009, 16:54
von Sololand
Hallo,
hab erfahren das Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.
Google legt wohl nicht mehr soviel wert auf die robots.txt und sagt sich, wenn die Seite so oft verlinkt ist, dann muss die infach wichtig sein. Ich suche nun eine Lösung schlechte Seiten direkt auszuschließen. Die Programmierung lässt ein Umschreiben dieser Seiten nicht zu.
Wie ich gehört habe, soll es eine Möglichkeit geben, solche Seiten über die Webmastertools auszuschließen. Ich habe es leider nicht gefunden, kann mir jemand einen Tip geben.
Gruß
Norbert
Verfasst: 11.12.2009, 17:56
von Malte Landwehr
In GWC einloggen > verifizierte Domain auswählen > Website-Konfiguration > Crawler-Zugriff > URL entfernen > Neuer Antrag auf Entfernung > "Einzelne URLs: Webseiten, Bilder oder andere Dateien" oder "Ein Verzeichnis sowie alle Unterverzeichnisse auf der Website" auswählen.
Re: Google ignoriert robots.txt
Verfasst: 12.12.2009, 21:19
von luzie
Sololand hat geschrieben:... dass Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.
Nein, das ist falsch so. Robots.txt
verhindert das Crawling gesperrter Seiten immer und AUf JEDen FAll, Google hält sich an robots-exclusion Standard.
Klingt vielleicht erstmal paradox, entspricht aber bei genauem Hinsehen den Vorgaben: robots.txt
verhindert nicht die Indizierung von Adressen! D.h., Adressen von Seiten, die irgendwo anders verlinkt sind, können als solche jederzeit im Index auftauchen (ohne Inhalt, nur URL!).
Um Seiten
ganz aus dem Index herauszuhalten, setze Noindex-Robots-Metatag ein (< Achtung, Seite NICHT zusätzlich in robots.txt sperren, sonst sieht der Bot den Noindex-Tag nicht, da er ja nicht crawlen darf!)
Verfasst: 12.12.2009, 22:32
von Sololand
Hallo,
ja stimmt, klingt logisch, geindext aber ohne Inhalt weil kein Crawl.
Ja gut, aber selbst das entfernen würde ja nicht vor einer neuen Indexierung schützen. Das mit dem Noindex muss ich mir erstmal anschauen, vermutlich müsste man das mit einem "If" lösen.
Gruß
Verfasst: 13.12.2009, 00:35
von mano_negra
Ja gut, aber selbst das entfernen würde ja nicht vor einer neuen Indexierung schützen. Das mit dem Noindex muss ich mir erstmal anschauen, vermutlich müsste man das mit einem "If" lösen.
?
Verfasst: 20.06.2010, 21:02
von carlostra
Hallo,
ich habe das selbe Problem mit meinem Forum, nach einer SEO Umstellung habe ich mit der Robotstxt eine Reihe von Seite ausgesperrt, mit den Webmastertools "entfernen" lassen und sogar getestet - die Seiten dürfen von Google nicht mehr aufgerufen werden
Das ganze ist jetzt schon 2 Wochen her und es hat sich noch nichts getan, im Moment sind alte und neue Domains vermischt, ich hab irgendwie angsat, das google das dann als doppelten Content sieht.
Gibt es da noch irgendwelche andere Ideen, das einzige was mir nur noch einfallen würde, wäre ein No Index Tag mit einer If Abfrage wenn die URL nicht stimmt (die ausgeschlossenen)?
