Semi-automatische Bot-Sperre per .htaccess

Beitrag von **yoogler** » 26.07.2006, 16:00

Hi.

Ich habe mir eine .htaccess-Datei gebastelt, um zumindest einige unliebsame Bots auszusperren. Mir ist klar, dass ich damit nicht alle "bad bots" erwische, aber ich habe keine Lust auf eine bot-trap und will auch nicht ständig meine .htaccess-Datei pflegen u. aktualisieren müssen. Es soll eine einfache Lösung mit (bekanntermaßen) begrenzter Wirksamkeit sein.

Wichtig ist mir nur, dass nur bots/spider/crawler ausgesperrt werden.

Folgender Code soll alle Zugriffe mit "spider", "bot" und "crawler" aussperren, ausser Google, MSN, Yahoo und DMOZ. Robots.txt bleibt immer lesbar.

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; ^.*spider.*$ &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^.*bot.*$ &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^.*crawl.*$ &#91;NC&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; !&#40;msnbot|googlebot|Robozilla|slurp&#41; &#91;NC&#93;
RewriteRule !robots.txt robots.txt &#91;C&#93;
RewriteRule ^.*$ - &#91;F,L&#93;

Was haltet ihr davon? Optimierungsvorschläge? Kritik? Mögliche Probleme??

Gruß Yoogler

von **Anzeige von ABAKUS** »

Beitrag von **ole1210** » 26.07.2006, 16:17

Damit sperrst du mehr gute Bots aus als böse!

Die bösen Bots nenen sich eher selten noch spider oder bot.

was spricht denn gegen ein ebot-trap?

Beitrag von **yoogler** » 26.07.2006, 16:46

Wenn ich mir meine Logs anschaue, dann erwische ich mit dieser Regel 99% aller Bots. Ich will ja nur Google, MSN & Yahoo spidern lassen, da es sich um ein privates web-projekt handelt. Die Seite muss nicht in der letzten ost-usbekischen Suchmaschine auftauchen. Traffic von Suchmaschinen kommt zu 99,999% von den oben genannten 3.

Ich wollte von euch nur wissen, ob ihr Probleme seht? Irgendwelche Human-Sufer sperr ich damit doch eigentlich nicht aus, sofern sie mit eine standart-Browser daherkommen, oder?

Beitrag von **Kristian** » 26.07.2006, 16:57

Hallo

> dann erwische ich mit dieser Regel 99% aller Bots

Ähem, nein das glaube ich nicht wirklich, gerade die ganz bösen triffst du nicht.
Schau dir doch mal eine Liste der Botkennungen an.
Bedenke auch, dass sehr viele der Biester derzeit ohne Kennung unterwegs sind, um nicht "erkannt" zu werden.

Gruss Kristian

Beitrag von **ole1210** » 26.07.2006, 18:39

Wenn ich mir meine Logs anschaue, dann erwische ich mit dieser Regel 99% aller Bots.

Ganz sicher nicht!

Du erkennst die ganzen Bots ganz einfach nicht!

Beitrag von **JR-EWING** » 27.07.2006, 14:25

was du willst wird eigentlich mit einer Bot-Trap abgewickelt - und ist ja auch die Idee dahinter ! Momentan gibt es da halt wenige Möglichkeiten - entweder mit einer Bot-Trap oder mit Hand.