Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Google ignoriert robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Sololand
PostRank 7
PostRank 7
Beiträge: 544
Registriert: 28.11.2004, 01:03

Beitrag von Sololand » 11.12.2009, 16:54

Hallo,

hab erfahren das Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.

Google legt wohl nicht mehr soviel wert auf die robots.txt und sagt sich, wenn die Seite so oft verlinkt ist, dann muss die infach wichtig sein. Ich suche nun eine Lösung schlechte Seiten direkt auszuschließen. Die Programmierung lässt ein Umschreiben dieser Seiten nicht zu.

Wie ich gehört habe, soll es eine Möglichkeit geben, solche Seiten über die Webmastertools auszuschließen. Ich habe es leider nicht gefunden, kann mir jemand einen Tip geben.

Gruß
Norbert

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Malte Landwehr
PostRank 10
PostRank 10
Beiträge: 3474
Registriert: 22.05.2005, 10:45

Beitrag von Malte Landwehr » 11.12.2009, 17:56

In GWC einloggen > verifizierte Domain auswählen > Website-Konfiguration > Crawler-Zugriff > URL entfernen > Neuer Antrag auf Entfernung > "Einzelne URLs: Webseiten, Bilder oder andere Dateien" oder "Ein Verzeichnis sowie alle Unterverzeichnisse auf der Website" auswählen.
Die 45 wichtigsten SEO-Tools und wie ich sie nutze.

luzie
PostRank 10
PostRank 10
Beiträge: 4228
Registriert: 12.07.2007, 13:43
Wohnort: Hannover, Linden-Nord

Beitrag von luzie » 12.12.2009, 21:19

Sololand hat geschrieben:... dass Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.
Nein, das ist falsch so. Robots.txt verhindert das Crawling gesperrter Seiten immer und AUf JEDen FAll, Google hält sich an robots-exclusion Standard.

Klingt vielleicht erstmal paradox, entspricht aber bei genauem Hinsehen den Vorgaben: robots.txt verhindert nicht die Indizierung von Adressen! D.h., Adressen von Seiten, die irgendwo anders verlinkt sind, können als solche jederzeit im Index auftauchen (ohne Inhalt, nur URL!).

Um Seiten ganz aus dem Index herauszuhalten, setze Noindex-Robots-Metatag ein (< Achtung, Seite NICHT zusätzlich in robots.txt sperren, sonst sieht der Bot den Noindex-Tag nicht, da er ja nicht crawlen darf!)
Zuletzt geändert von luzie am 14.12.2009, 10:23, insgesamt 1-mal geändert.