ABAKUS

Hallo,
gestern hatte ich das erste Mal Besuch von dem kuloko-bot/5.0
Er hat brav die robots gelesen und dann die Seite mit meine Links aufgerufen. Da ich bei Google nichts gescheites über den Robot bekommen konnte (Bot einer noch nicht aktiven Suchmaschine, die auch keinerlei Information herausgibt für was sie sein soll), habe ich die gleich mal in meine robots.txt aufgenommen mit einem nette DISALLOW.
Na ja. Heute morgen sehe ich, dass der Bot fröhlich die Seite durchforstet und sich erst gar nicht mehr die MÜhe gemacht hat, die robots.txt aufzurufen.
Hat jemand mehr Erfahrugen damit, einen Tipp oder vielleicht genau das, was ich dann in die htaccess schreiben muß, damit der wegbleibt?
Schöne Woche
Fool

Moin.
Der war vorgestern bei mir. Ich denke, das erste Mal.
Hat ein paar Seiten mitgenommen.
Aussperren will ich ih nicht gleich.

Wer hat denn noch Informationen?

Gruß

Klaus

Moin Klaus,

ich denke ein Bot auf dessen Homepage nur sein Name steht und sonst keinerlei Information über sein warum und weshalb, gehört ausgesperrt.

Hat er denn bei dir auch die robots aufgerufen. Bei mir wie gesagt nur das erste Mal, beim zweiten Besuch gleich alle Seiten gelesen - allerdings nur html.

Gruß
Fool

Moin fool.
Wenn er heute das erste Mal bei mir war, dann hat er die robots.txt gelesen. Und dann ein paar Seiten mitgenommen.
Ich pflege zwar die Erstbesuche der Spider, aber kann schon sein, dass ich ihn mal übersehen habe.

webby hat ihn hier auf der Seite nicht ausgeschlossen.

Wer hat denn noch Informationen?

Keiner hier?

Ist halt ein "very new" robot:

https://forums.seochat.com/t10150/s.html

Die Startseite ist natürlich crazy.
kuloko.com

Du hast recht, nicht sehr vertrauenserweckend.
Schau'n mer mal.

Gruß
Klaus

Moin, moin, Klaus,

danke für den Link. Die sind ja auch nicht gerade glücklich darüber, dass es keine Informationen darüber gibt, was den kukolo mit den gesammelten Daten anfängt. Ich sperr den erst mal fürs erste aus. Mir gefällt so Geheimnistuerei nicht.

Wenn sich jemand noch mit .htaccess besser auskennt als ich das tue, dann würde ich mich freuen, wenn er hier postet, was ich da genau in meine Datei einbauen muß. Habe bislang die robots geändert.

Gruß
fool

sollte funtionieren.