Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Google ignoriert robots.txt

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Sololand
PostRank 7
PostRank 7
Beiträge: 544
Registriert: 28.11.2004, 01:03

Beitrag von Sololand » 11.12.2009, 16:54

Hallo,

hab erfahren das Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.

Google legt wohl nicht mehr soviel wert auf die robots.txt und sagt sich, wenn die Seite so oft verlinkt ist, dann muss die infach wichtig sein. Ich suche nun eine Lösung schlechte Seiten direkt auszuschließen. Die Programmierung lässt ein Umschreiben dieser Seiten nicht zu.

Wie ich gehört habe, soll es eine Möglichkeit geben, solche Seiten über die Webmastertools auszuschließen. Ich habe es leider nicht gefunden, kann mir jemand einen Tip geben.

Gruß
Norbert

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Malte Landwehr
PostRank 10
PostRank 10
Beiträge: 3474
Registriert: 22.05.2005, 10:45

Beitrag von Malte Landwehr » 11.12.2009, 17:56

In GWC einloggen > verifizierte Domain auswählen > Website-Konfiguration > Crawler-Zugriff > URL entfernen > Neuer Antrag auf Entfernung > "Einzelne URLs: Webseiten, Bilder oder andere Dateien" oder "Ein Verzeichnis sowie alle Unterverzeichnisse auf der Website" auswählen.
Die 45 wichtigsten SEO-Tools und wie ich sie nutze.

luzie
PostRank 10
PostRank 10
Beiträge: 4228
Registriert: 12.07.2007, 13:43
Wohnort: Hannover, Linden-Nord

Beitrag von luzie » 12.12.2009, 21:19

Sololand hat geschrieben:... dass Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.
Nein, das ist falsch so. Robots.txt verhindert das Crawling gesperrter Seiten immer und AUf JEDen FAll, Google hält sich an robots-exclusion Standard.

Klingt vielleicht erstmal paradox, entspricht aber bei genauem Hinsehen den Vorgaben: robots.txt verhindert nicht die Indizierung von Adressen! D.h., Adressen von Seiten, die irgendwo anders verlinkt sind, können als solche jederzeit im Index auftauchen (ohne Inhalt, nur URL!).

Um Seiten ganz aus dem Index herauszuhalten, setze Noindex-Robots-Metatag ein (< Achtung, Seite NICHT zusätzlich in robots.txt sperren, sonst sieht der Bot den Noindex-Tag nicht, da er ja nicht crawlen darf!)
Zuletzt geändert von luzie am 14.12.2009, 10:23, insgesamt 1-mal geändert.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Sololand
PostRank 7
PostRank 7
Beiträge: 544
Registriert: 28.11.2004, 01:03

Beitrag von Sololand » 12.12.2009, 22:32

Hallo,

ja stimmt, klingt logisch, geindext aber ohne Inhalt weil kein Crawl.

Ja gut, aber selbst das entfernen würde ja nicht vor einer neuen Indexierung schützen. Das mit dem Noindex muss ich mir erstmal anschauen, vermutlich müsste man das mit einem "If" lösen.

Gruß

mano_negra
PostRank 9
PostRank 9
Beiträge: 2812
Registriert: 23.07.2009, 15:29
Wohnort: la luna

Beitrag von mano_negra » 13.12.2009, 00:35

Ja gut, aber selbst das entfernen würde ja nicht vor einer neuen Indexierung schützen. Das mit dem Noindex muss ich mir erstmal anschauen, vermutlich müsste man das mit einem "If" lösen.
?

carlostra
PostRank 3
PostRank 3
Beiträge: 87
Registriert: 09.06.2010, 09:08
Wohnort: Spanien, Ponferrada

Beitrag von carlostra » 20.06.2010, 21:02

Hallo,

ich habe das selbe Problem mit meinem Forum, nach einer SEO Umstellung habe ich mit der Robotstxt eine Reihe von Seite ausgesperrt, mit den Webmastertools "entfernen" lassen und sogar getestet - die Seiten dürfen von Google nicht mehr aufgerufen werden :-?

Das ganze ist jetzt schon 2 Wochen her und es hat sich noch nichts getan, im Moment sind alte und neue Domains vermischt, ich hab irgendwie angsat, das google das dann als doppelten Content sieht.

Gibt es da noch irgendwelche andere Ideen, das einzige was mir nur noch einfallen würde, wäre ein No Index Tag mit einer If Abfrage wenn die URL nicht stimmt (die ausgeschlossenen)?

Antworten