Seite 1 von 1
Bin ich zu blöd für robots.txt?
Verfasst: 31.10.2013, 13:41
von elmex
Hallo,
versteht das jemand und kann mir sagen, was ich falsch gemacht hab?
Robots.txt:
Google-Index:
https://www.google.de/search?q=site:htt ... vergleich/
Verfasst: 31.10.2013, 15:24
von CyberNibbler
Damit sollte es gehen:
Code: Alles auswählen
User-Agent: *
Allow: /
Disallow: /vergleich
Oder Google hat die robots.txt nicht nach deiner Änderung geladen?
Verfasst: 31.10.2013, 17:08
von luzie
Hm ... um eine einmal indizierte URL aus dem Index rauszuholen, reicht robots.txt nicht aus, da muss ein noindex-Robots-Metatag her (dazu muss dann der robots.txt-Eintrag wieder weggenommen werden, sonst sieht der Crawler den noindex-Tag nicht)! Robots.txt verhindert nur das weitere Crawling dieser URL, nicht deren fortdauernde Indizierung.
Verfasst: 31.10.2013, 18:02
von elmex
Grmpf...
ich hatte vorher darüber noch eine Anweisung mit User-Agent: Googlebot
Darauf hat der alle Anweisungen danach (also mit *) ignoriert - zumindest laut dem Testtool in den WMT
Dann ist ja kein Wunder, aber das kannte ich nocht nicht!