Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Bin ich zu blöd für robots.txt?

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Neues Thema Antworten
elmex
PostRank 9
PostRank 9
Beiträge: 1009
Registriert: 03.05.2005, 09:09

Beitrag von elmex » 31.10.2013, 13:41

Hallo,

versteht das jemand und kann mir sagen, was ich falsch gemacht hab?

Robots.txt:

Code: Alles auswählen

User-agent: *
Disallow: /vergleich/
Google-Index:
https://www.google.de/search?q=site:htt ... vergleich/

:(

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


CyberNibbler
PostRank 5
PostRank 5
Beiträge: 283
Registriert: 19.08.2008, 16:57
Wohnort: Berlin

Beitrag von CyberNibbler » 31.10.2013, 15:24

Damit sollte es gehen:

Code: Alles auswählen

User-Agent: * 
Allow: /
Disallow: /vergleich 
Oder Google hat die robots.txt nicht nach deiner Änderung geladen?

luzie
PostRank 10
PostRank 10
Beiträge: 4228
Registriert: 12.07.2007, 13:43
Wohnort: Hannover, Linden-Nord

Beitrag von luzie » 31.10.2013, 17:08

Hm ... um eine einmal indizierte URL aus dem Index rauszuholen, reicht robots.txt nicht aus, da muss ein noindex-Robots-Metatag her (dazu muss dann der robots.txt-Eintrag wieder weggenommen werden, sonst sieht der Crawler den noindex-Tag nicht)! Robots.txt verhindert nur das weitere Crawling dieser URL, nicht deren fortdauernde Indizierung.

elmex
PostRank 9
PostRank 9
Beiträge: 1009
Registriert: 03.05.2005, 09:09

Beitrag von elmex » 31.10.2013, 18:02

Grmpf...

ich hatte vorher darüber noch eine Anweisung mit User-Agent: Googlebot

Darauf hat der alle Anweisungen danach (also mit *) ignoriert - zumindest laut dem Testtool in den WMT

Dann ist ja kein Wunder, aber das kannte ich nocht nicht!

Antworten