Google ignoriert robots.txt

[Sololand]

Hallo,

hab erfahren das Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.

Google legt wohl nicht mehr soviel wert auf die robots.txt und sagt sich, wenn die Seite so oft verlinkt ist, dann muss die infach wichtig sein. Ich suche nun eine Lösung schlechte Seiten direkt auszuschließen. Die Programmierung lässt ein Umschreiben dieser Seiten nicht zu.

Wie ich gehört habe, soll es eine Möglichkeit geben, solche Seiten über die Webmastertools auszuschließen. Ich habe es leider nicht gefunden, kann mir jemand einen Tip geben.

Gruß
Norbert

[Malte Landwehr]

In GWC einloggen > verifizierte Domain auswählen > Website-Konfiguration > Crawler-Zugriff > URL entfernen > Neuer Antrag auf Entfernung > "Einzelne URLs: Webseiten, Bilder oder andere Dateien" oder "Ein Verzeichnis sowie alle Unterverzeichnisse auf der Website" auswählen.

[luzie]

... dass Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.

Nein, das ist falsch so. Robots.txt verhindert das Crawling gesperrter Seiten immer und AUf JEDen FAll, Google hält sich an robots-exclusion Standard.

Klingt vielleicht erstmal paradox, entspricht aber bei genauem Hinsehen den Vorgaben: robots.txt verhindert nicht die Indizierung von Adressen! D.h., Adressen von Seiten, die irgendwo anders verlinkt sind, können als solche jederzeit im Index auftauchen (ohne Inhalt, nur URL!).

Um Seiten ganz aus dem Index herauszuhalten, setze Noindex-Robots-Metatag ein (< Achtung, Seite NICHT zusätzlich in robots.txt sperren, sonst sieht der Bot den Noindex-Tag nicht, da er ja nicht crawlen darf!)

[Sololand]

Hallo,

ja stimmt, klingt logisch, geindext aber ohne Inhalt weil kein Crawl.

Ja gut, aber selbst das entfernen würde ja nicht vor einer neuen Indexierung schützen. Das mit dem Noindex muss ich mir erstmal anschauen, vermutlich müsste man das mit einem "If" lösen.

Gruß

[mano_negra]

Ja gut, aber selbst das entfernen würde ja nicht vor einer neuen Indexierung schützen. Das mit dem Noindex muss ich mir erstmal anschauen, vermutlich müsste man das mit einem "If" lösen.

?

[carlostra]

Hallo,

ich habe das selbe Problem mit meinem Forum, nach einer SEO Umstellung habe ich mit der Robotstxt eine Reihe von Seite ausgesperrt, mit den Webmastertools "entfernen" lassen und sogar getestet - die Seiten dürfen von Google nicht mehr aufgerufen werden

Das ganze ist jetzt schon 2 Wochen her und es hat sich noch nichts getan, im Moment sind alte und neue Domains vermischt, ich hab irgendwie angsat, das google das dann als doppelten Content sieht.

Gibt es da noch irgendwelche andere Ideen, das einzige was mir nur noch einfallen würde, wäre ein No Index Tag mit einer If Abfrage wenn die URL nicht stimmt (die ausgeschlossenen)?