Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Gewünschtes Verzeichnis (oder ganze Domain) per .htaccess für IP-ranges von Googlebots sperren, das klappt dann schon.wuschba hat geschrieben:Also, Google hat bei mir lauter Seiten bei site:, die so aussehen:
www.domain.de/shop/?product=1234
www.domain.de/shop/?product=1235
www.domain.de/shop/?product=1236
Kein Cache, kein Datum, aber halt den Link. Dabei hatte ich das Shop-Verzeichnis per robots.txt gesperrt und dies auch über sitemaps validiert.
Also habe ich diese Seiten noch mit "noindex, nofollow" versehen, was ich vergessen hatte. Per URL-Konsole habe ich dann alle diese URLs gelöscht, war auch innerhalb von 2 Tagen raus. Aber mit dem neuen Besuch des Bots kamen auch wieder diese Seiten in den Index.
Also habe ich alle Links ins Shop-Verzeichnis mit "rel=nofollow" markiert. Selbes Spiel wie oben: Alles händisch gelöscht, alles wieder im Index.
Ich bin kurz davor, einen 404er zu senden, wenn eine der Seiten aufgerufen wird. Wieso kapiert der Google-Bot das nicht?