Google generiert selbstständig Zahlen beim Crawling
Verfasst: 25.01.2010, 17:51
Hallo,
beim durchsehen meiner Log-Dateien entdecke ich, das der Googlebot scheinbar Fantasie-Zahlen crawlt, die weder von extern noch intern verlinkt sind.
Es ist ein SMF-Forum und die Gestaltung der URLs ist folgendermassen:
www.url.de/beitrag,zahl1.zahl2.html
Hierbei dürften aufgrund der Verlinlung bei "zahl2" Werte wie 0, 15, 30 fortlaufend vergeben sein.
Plötzlich werden bei "zahl2" beliebige Werte generiert und dadurch massig DC produziert.
Hat jemand ähnliches schon mal beobachtet bzw. wie kann man da Abhilfe schaffen.
Grüße
beim durchsehen meiner Log-Dateien entdecke ich, das der Googlebot scheinbar Fantasie-Zahlen crawlt, die weder von extern noch intern verlinkt sind.
Es ist ein SMF-Forum und die Gestaltung der URLs ist folgendermassen:
www.url.de/beitrag,zahl1.zahl2.html
Hierbei dürften aufgrund der Verlinlung bei "zahl2" Werte wie 0, 15, 30 fortlaufend vergeben sein.
Plötzlich werden bei "zahl2" beliebige Werte generiert und dadurch massig DC produziert.
Hat jemand ähnliches schon mal beobachtet bzw. wie kann man da Abhilfe schaffen.
Grüße