Na toll. Den ODP Link Checker ausgesperrt...

Hallöchen,

momentan läuft es ja echt großartig. Zuerst geht etwas beim phpbb-Update auf 2.0.18 schief, und jetzt habe ich auch noch Thomas Schilds Linkchecker einen 403-Error zurückgeschickt.

Schuld war folgende Regel in der .htaccess:

RewriteCond %{HTTP_USER_AGENT} link
RewriteRule !403\.htm|robots\.txt - [F,L]

Der User-Agent des ODP-Editors lautet nämlich:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; ODP links test; https://tuezilla.de/test-odp-links-agent.html)

Hat jemand eine Idee, wie ich obige RewriteCond beibehalten, für "ODP links test" aber eine Ausnahme definieren kann?

LG, Hobby-SEO

RewriteCond %{HTTP_USER_AGENT} link
RewriteCond %{HTTP_USER_AGENT} !tuezilla
RewriteRule !403\.htm|robots\.txt - [F,L]

Das ist kein "offizieller" Linkprüfer, wie der Botbeschreibung zu entnehmen ist. Im Gegensatz zum Aussperren von Robozilla ist hier nicht mit sofortigem De-Listing zu rechnen.

Vielen Dank, Bull!

Funktioniert das eigentlich analog auch mit Deiner Positivliste?

Zum Beispiel:

RewriteCond %{HTTP_USER_AGENT} ^E.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^F.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^G.+
RewriteCond %{HTTP_USER_AGENT} !^Googlebot
RewriteCond %{HTTP_USER_AGENT} !^Gurgelbot
RewriteCond %{HTTP_USER_AGENT} !^Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^H.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^I+

RewriteRule !403\.htm|robots\.txt - [F,L]

Dieses Regelwerk müsste doch alle User-agents aussperren, die mit E, F, G, H oder I beginnen - mit Ausnahme des Googlebot, Gurgelbot und Gigabot.

Stimmt die Syntax? Oder habe ich irgendwo etwas - vielleicht ein [OR] oder was auch immer - vergessen?

Auf diese Weise müsste sich eigentlich eine recht kurze, aber effektive .htaccess-Lösung zur Sperrung von bösen Bots verwirklichen lassen.

Danke noch einmal!
Hobby-SEO