Google ignoriert robots.txt

Beitrag von **Thomas B** » 31.05.2006, 17:05

Hallo, wie schon am Titel zu erkennen ist, habe ich ein Problem mit der Robots.txt.

Seiten die letzte Woche onlinegestellt wurden ( im Ordner "Vorlagen" ), sind indexiert und tauschen unter der site Abfrage auf. Hat jemand die gleichen Erfahrungen gemacht?

Gruß

von **Anzeige von ABAKUS** »

Beitrag von **Martin Ice** » 31.05.2006, 17:27

Hallo Thomas B,

das ist normal für google. Die robots.txt Datei wird nicht jeden Tag runtergeladen bzw. nicht direkt aktualisiert. Vielmehr dauert es bis zu einer Woche bis die aktuellen Einstellungen übernommen werden. Hinzu kommt, das google mittlerweile mit der "super neuen" Cache-Spider Technologie arbeitet und da kommt es nochmals zu Verzögerungen bis alle Bots die neue Version Deiner Robots.txt haben.

Beitrag von **Hasenhuf** » 01.06.2006, 06:36

Thomas B hat geschrieben:...sind indexiert und tauschen unter der site Abfrage auf.

Mit beschreibendem Text oder nur der Link? Letzteres ist normal so.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Thomas B** » 01.06.2006, 08:34

Nur die Links. Habe ich aber vorher bei anderen Seiten noch nie bewußt bemerkt.

Beitrag von **Cayman** » 01.06.2006, 09:19

Lösch die Seiten mit der urlconsole und die Links sind raus aus den Serps.