ach ja,
hatte ich ja ganz vergessen, warum
ich den aussprerre jetzt.
Ist nämlich einfach in meine bottrap gelaufen,
nachdem er die robots.txt aufgerufen hat, hätte
er das besser gelassen.
Und ich muss thetrasher recht geben:
bald surfen nur noch bots durchs Netz
und wieder einer, den mal wohl bedenkenlos aussprerren kann:
Snoopy v1.2.3
kam von einer IP von schund und partner 87.106.1.111
und hat sich nicht um robots.txt gescherrt.
Und tschüß
fool
Hallo redcan, hatte genauso Schwierigkeiten mit MISTER PIX und dem Aussprerren. Hat eigentlich nie funktioniert, bis ich ziemlich knallhart die Nase voll hatte und RewriteCond %{HTTP_USER_AGENT} ^Mister [OR] in meine htaccess gepackt habe. Welchen USER/Spider/bot kennst du noch mit MISTER - hehe. Od...
Hallo, hatte gestern ersten Besuch von plinki/0.1: 66.220.23.200 - - [11/Jan/2006:19:05:22 +0100] "GET /robots.txt HTTP/1.0" "plinki/0.1 (you got plinked! (thats a good thing..); https://www.plinki.com; crawl@plinki.com)" Wie ihr seht, hat der zwar brav die robots.txt gesucht, do...
Hallo hatte gerade darüber nachgedacht, wie ich es anstelle, per robots.txt für ein Projekt alle Bots/Spider außer Googlebot zu sperren. Ist das richtig, dass sich der Googlebot nicht an * hält, siehe oben im Thread, sondern getrennt angesprochen werden muß. Das wäre für mich und mein Problem ja gen...
Was ist denn jetzt los? Kommt Yahoo jetzt auch noch mit einem eigenen Bot aus China? 202.160.180.178 - - [11/Dec/2005:05:50:45 +0100] "GET /robots.txt HTTP/1.0" 200 6176 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; https://misc.yahoo.com.cn/help.html)" Reicht da ni...
Hallo, habe diesen Bot, der laut IP zu Microsoft gehört in meinen Logfiles entdeckt: 65.54.158.99 - - [01/Dec/2005:14:16:49 +0100] "GET / HTTP/1.0" 200 6812 "-" "MSNPTC/1.0" kam dann so alle 15 Minuten mit genau diesem Eintrag wieder. Weiß jemand, was der will? Bilder? ...
Hallo, seit ein paar Wochen beobachte ich in meinen unerwünschten Emails eine deutliche Zunahme von SEO-Spam. Wollte bis vor kurzem mir noch alle mögliche Leute eine Rolex oder den üblichen Sex verkaufen, so will jetzt jeder meine Homepage bei Google u/o Yahoo top positionieren. Klasse war heute die...
Hallo zusammen, hatte heute auch Besuch von dem ConveraCrawler und konnte feststellen, dass er sich nicht wie auf der Homepage von dem Betreiber: www.authoritativeweb.com/crawl an robots.txt -Standard hält. Er ist klasse in die Bot-Trap gegangen. Die müssen also wirklich noch ein bisschen ihren Bot ...