kuloko-bot
Verfasst: 03.05.2004, 10:50
Hallo,
gestern hatte ich das erste Mal Besuch von dem kuloko-bot/5.0
Er hat brav die robots gelesen und dann die Seite mit meine Links aufgerufen. Da ich bei Google nichts gescheites über den Robot bekommen konnte (Bot einer noch nicht aktiven Suchmaschine, die auch keinerlei Information herausgibt für was sie sein soll), habe ich die gleich mal in meine robots.txt aufgenommen mit einem nette DISALLOW.
Na ja. Heute morgen sehe ich, dass der Bot fröhlich die Seite durchforstet und sich erst gar nicht mehr die MÜhe gemacht hat, die robots.txt aufzurufen.
Hat jemand mehr Erfahrugen damit, einen Tipp oder vielleicht genau das, was ich dann in die htaccess schreiben muß, damit der wegbleibt?
Schöne Woche
Fool
gestern hatte ich das erste Mal Besuch von dem kuloko-bot/5.0
Er hat brav die robots gelesen und dann die Seite mit meine Links aufgerufen. Da ich bei Google nichts gescheites über den Robot bekommen konnte (Bot einer noch nicht aktiven Suchmaschine, die auch keinerlei Information herausgibt für was sie sein soll), habe ich die gleich mal in meine robots.txt aufgenommen mit einem nette DISALLOW.
Na ja. Heute morgen sehe ich, dass der Bot fröhlich die Seite durchforstet und sich erst gar nicht mehr die MÜhe gemacht hat, die robots.txt aufzurufen.
Hat jemand mehr Erfahrugen damit, einen Tipp oder vielleicht genau das, was ich dann in die htaccess schreiben muß, damit der wegbleibt?
Schöne Woche
Fool

