IRLbot

Beitrag von **Luckybuy3000** » 07.02.2005, 12:54

Was ist das denn für einer ? Sperren oder nicht ?
IRLbot/1.0 +https://irl.cs.tamu.edu/crawler

von **Anzeige von ABAKUS** »

Beitrag von **Christophe** » 07.02.2005, 13:07

Lies dir doch einfach den Infotext auf der angegebenen URL durch.

IRL-crawler is a Texas A&M research project sponsored by the National Science Foundation that investigates algorithms for mapping the topology of the Internet and discovering the various parts of the web. The crawler downloads random web pages (text only) and follows certain links to find other websites.

Besucher wirst du davon nicht bekommen, es ist ein Forschungsprojekt, aber solange sich der Bot nicht daneben benimmt...

Beitrag von **bull** » 07.02.2005, 13:11

Sein Vorgänger (User-agent ist mir entfallen) hat keine robots.txt beachtet.
Keine näheren Infos zum sogenannten Forschungsprojekt --> 403.

von **Anzeige von ABAKUS** »

Beitrag von **Luckybuy3000** » 07.02.2005, 19:32

Danke.Die robots.txt wurde beachtet.

Beitrag von **fool** » 08.02.2005, 11:25

@luckybuy

seit Anfang Januar habe ich auch immer wieder Besuche von dem IRLbot.
Und nach ein paar Besuchen hatte ich allerdings das Gefühl, dass die robots nur aufgerufen und dann doch nicht wirklich beachtet wird. Außerdem kommt der jetzt fast täglich und ich habe echt nix, was den interessieren sollte.

Deshalb habe ich den auch gleich ganz ausgesperrt.

Gruß
fool

Beitrag von **Luckybuy3000** » 08.02.2005, 19:31

Mit education können wir teilweise dienen. Aber werde ihn dann doch auch endgültig sperren.