Bin ich zu blöd für robots.txt?

Beitrag von **elmex** » 31.10.2013, 13:41

Hallo,

versteht das jemand und kann mir sagen, was ich falsch gemacht hab?

Robots.txt:

User-agent&#58; *
Disallow&#58; /vergleich/

Google-Index:
https://www.google.de/search?q=site:htt ... vergleich/

von **Anzeige von ABAKUS** »

Beitrag von **CyberNibbler** » 31.10.2013, 15:24

Damit sollte es gehen:

Code: Alles auswählen

User-Agent&#58; * 
Allow&#58; /
Disallow&#58; /vergleich

Oder Google hat die robots.txt nicht nach deiner Änderung geladen?

Beitrag von **luzie** » 31.10.2013, 17:08

Hm ... um eine einmal indizierte URL aus dem Index rauszuholen, reicht robots.txt nicht aus, da muss ein noindex-Robots-Metatag her (dazu muss dann der robots.txt-Eintrag wieder weggenommen werden, sonst sieht der Crawler den noindex-Tag nicht)! Robots.txt verhindert nur das weitere Crawling dieser URL, nicht deren fortdauernde Indizierung.

Beitrag von **elmex** » 31.10.2013, 18:02

Grmpf...

ich hatte vorher darüber noch eine Anweisung mit User-Agent: Googlebot

Darauf hat der alle Anweisungen danach (also mit *) ignoriert - zumindest laut dem Testtool in den WMT

Dann ist ja kein Wunder, aber das kannte ich nocht nicht!