Google ignoriert robots.txt

[Thomas B]

Hallo, wie schon am Titel zu erkennen ist, habe ich ein Problem mit der Robots.txt.

Seiten die letzte Woche onlinegestellt wurden ( im Ordner "Vorlagen" ), sind indexiert und tauschen unter der site Abfrage auf. Hat jemand die gleichen Erfahrungen gemacht?

Gruß

[Martin Ice]

Hallo Thomas B,

das ist normal für google. Die robots.txt Datei wird nicht jeden Tag runtergeladen bzw. nicht direkt aktualisiert. Vielmehr dauert es bis zu einer Woche bis die aktuellen Einstellungen übernommen werden. Hinzu kommt, das google mittlerweile mit der "super neuen" Cache-Spider Technologie arbeitet und da kommt es nochmals zu Verzögerungen bis alle Bots die neue Version Deiner Robots.txt haben.

[Hasenhuf]

...sind indexiert und tauschen unter der site Abfrage auf.

Mit beschreibendem Text oder nur der Link? Letzteres ist normal so.

[Thomas B]

Nur die Links. Habe ich aber vorher bei anderen Seiten noch nie bewußt bemerkt.

[Cayman]

Lösch die Seiten mit der urlconsole und die Links sind raus aus den Serps.