psbot global für ganzen Apache sperren

Beitrag von **snowmanmh** » 28.12.2004, 13:00

Hallo,

ich habe Server unter Apache laufen. Auf diesem befinden sich nur meine eigenen Domains. Nun möchte ich global einige Bots sperren. Am meisten sticht mir der psBot ins Auge, der eine ganze Menge Traffic verursacht, und dabei die anderen User beeinträchtigt (Geschwindigkeit).

Kann man sowas global machen, jedesmal per robots.txt ist mühsam, ausserdem habe ich bemerkt, das Ihn (psBot) das manchmal ziehmlich kalt lässt, und er fröhlich weiter macht...

Grüsse Mario

von **Anzeige von ABAKUS** »

Beitrag von **fool** » 29.12.2004, 12:23

Hallo mario,

also psbot respektiert bei mir seit ich ihn in der robots gesperrt habe das Verbot. Deshalb interessant, dass du das beobachtest.

Aber wenn du sicher gehen willst, dann sperr ihn in der .htaccess.

Da gibt es ja genug threads hier darüber.

Gruß
fool[/i]

Beitrag von **snowmanmh** » 29.12.2004, 12:52

Hallo,

meine robots.txt sieht so aus:

Code: Alles auswählen

User-agent&#58; psbot
Disallow&#58; /

diese hat der psBot in den letzten Tagen mehr als genug gelesen:

Code: Alles auswählen

62.119.133.10 - - &#91;29/Dec/2004&#58;07&#58;47&#58;04 +0100&#93; "GET /robots.txt HTTP/1.0" 200 179 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"
62.119.133.10 - - &#91;29/Dec/2004&#58;07&#58;51&#58;10 +0100&#93; "GET /robots.txt HTTP/1.0" 200 179 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"
62.119.133.11 - - &#91;29/Dec/2004&#58;07&#58;53&#58;10 +0100&#93; "GET /allkat_Nachrichtentechnik_29_0_50.html HTTP/1.0" 200 22453 "-" "psbot/0.1
62.119.133.10 - - &#91;29/Dec/2004&#58;07&#58;57&#58;13 +0100&#93; "GET /robots.txt HTTP/1.0" 200 179 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"
62.119.133.10 - - &#91;29/Dec/2004&#58;07&#58;59&#58;18 +0100&#93; "GET /robots.txt HTTP/1.0" 200 179 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"
62.119.133.10 - - &#91;29/Dec/2004&#58;08&#58;01&#58;14 +0100&#93; "GET /robots.txt HTTP/1.0" 200 179 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"
62.119.133.10 - - &#91;29/Dec/2004&#58;08&#58;05&#58;15 +0100&#93; "GET /robots.txt HTTP/1.0" 200 179 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"

wie man daraus erkennt liest er fleissig weiter, auch später:

Code: Alles auswählen

62.119.133.11 - - &#91;29/Dec/2004&#58;11&#58;44&#58;16 +0100&#93; "GET /allkat_Naturkatastrophe_13_0_50.html HTTP/1.0" 200 15900 "-" "psbot/0.1 &#40;+http&#58;//www.picsearch.com/bot.html&#41;"

Die robots.txt liegt da schon 1 Woche so, da sollte man von ausgehen das er dann auch das macht, oder liegt der Fehler an meinem Syntax?

Grüsse Mario

Beitrag von **Maschenka** » 30.12.2004, 00:23

Die Syntax in deiner robots.txt ist korrekt.

Auf der vom Bot genannten Seite findet sich am Ende folgender Satz, hast du das schon ausprobiert?

Experiencing problems?
Since Psbot is still very new we apologize for any inconvenience it may cause and would ask you to notify Picsearch about any problems at psbot@picsearch.com in order for Picsearch to rectify them as quickly as possible. Thank you.

Beitrag von **fool** » 30.12.2004, 01:21

Hallo Mario,
wenn dich solche Zugriffe stören, dann bann den psbot einfach per htaccess und Ruhe ist. Der psbot würde ja sogar Opfer von bulls Kleinbuchstabensperre (siehe thread emailharvester und spambots per htaccess sprerren Seite 4 und 5) - aber nicht vergessen msnbot davon auszunehmen!

Wenn ich solche logfileEinträge hätte, wäre ich da gnadenlos.

Guten Rutsch
fool