ABAKUS

Verfasst: **31.10.2013, 13:41**

Hallo,

versteht das jemand und kann mir sagen, was ich falsch gemacht hab?

Robots.txt:

User-agent&#58; *
Disallow&#58; /vergleich/

Google-Index:
https://www.google.de/search?q=site:htt ... vergleich/

Verfasst: **31.10.2013, 15:24**

Damit sollte es gehen:

Code: Alles auswählen

User-Agent&#58; * 
Allow&#58; /
Disallow&#58; /vergleich

Oder Google hat die robots.txt nicht nach deiner Änderung geladen?

Verfasst: **31.10.2013, 17:08**

Hm ... um eine einmal indizierte URL aus dem Index rauszuholen, reicht robots.txt nicht aus, da muss ein noindex-Robots-Metatag her (dazu muss dann der robots.txt-Eintrag wieder weggenommen werden, sonst sieht der Crawler den noindex-Tag nicht)! Robots.txt verhindert nur das weitere Crawling dieser URL, nicht deren fortdauernde Indizierung.

Verfasst: **31.10.2013, 18:02**

Grmpf...

ich hatte vorher darüber noch eine Anweisung mit User-Agent: Googlebot

Darauf hat der alle Anweisungen danach (also mit *) ignoriert - zumindest laut dem Testtool in den WMT

Dann ist ja kein Wunder, aber das kannte ich nocht nicht!

ABAKUS

Bin ich zu blöd für robots.txt?

Bin ich zu blöd für robots.txt?