ABAKUS

Also, Google hat bei mir lauter Seiten bei site:, die so aussehen:
www.domain.de/shop/?product=1234
www.domain.de/shop/?product=1235
www.domain.de/shop/?product=1236
Kein Cache, kein Datum, aber halt den Link. Dabei hatte ich das Shop-Verzeichnis per robots.txt gesperrt und dies auch über sitemaps validiert.

Also habe ich diese Seiten noch mit "noindex, nofollow" versehen, was ich vergessen hatte. Per URL-Konsole habe ich dann alle diese URLs gelöscht, war auch innerhalb von 2 Tagen raus. Aber mit dem neuen Besuch des Bots kamen auch wieder diese Seiten in den Index.

Also habe ich alle Links ins Shop-Verzeichnis mit "rel=nofollow" markiert. Selbes Spiel wie oben: Alles händisch gelöscht, alles wieder im Index.

Ich bin kurz davor, einen 404er zu senden, wenn eine der Seiten aufgerufen wird. Wieso kapiert der Google-Bot das nicht?

externe verlinkung von aussen evtl?
aber selbst dann dürfte bei noindex das ding auch nicht im index erscheinen....hm...

wuschba hat geschrieben:Also, Google hat bei mir lauter Seiten bei site:, die so aussehen:
www.domain.de/shop/?product=1234
www.domain.de/shop/?product=1235
www.domain.de/shop/?product=1236
Kein Cache, kein Datum, aber halt den Link. Dabei hatte ich das Shop-Verzeichnis per robots.txt gesperrt und dies auch über sitemaps validiert.

Also habe ich diese Seiten noch mit "noindex, nofollow" versehen, was ich vergessen hatte. Per URL-Konsole habe ich dann alle diese URLs gelöscht, war auch innerhalb von 2 Tagen raus. Aber mit dem neuen Besuch des Bots kamen auch wieder diese Seiten in den Index.

Also habe ich alle Links ins Shop-Verzeichnis mit "rel=nofollow" markiert. Selbes Spiel wie oben: Alles händisch gelöscht, alles wieder im Index.

Ich bin kurz davor, einen 404er zu senden, wenn eine der Seiten aufgerufen wird. Wieso kapiert der Google-Bot das nicht?

Gewünschtes Verzeichnis (oder ganze Domain) per .htaccess für IP-ranges von Googlebots sperren, das klappt dann schon.
Allerdings die error-logs so konfigurieren, daß nur bei emergency-Ereignissen geloggt wird und nicht bei error-Ereignissen, denn der Google-Bot ist autistisch und knallt sonst die logs voll bis zum Anschlag mit seinen verzweifelten spider-Versuchen...