irgendwie werde ich aus der Apache Doku nicht schlau. Ich habe bei mir generell den Mozilla 2.xx useragent per .htaccess auf forbidden gesetzt.
Code: Alles auswählen
...
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/2 [OR]
RewriteRule ^.*$ - [F,L]
Mozilla/2.0 (compatible; Ask Jeeves/Teoma; +https://sp.ask.com/docs/about/tech_crawling.html)"
Ich habe schon ein paar Ausnahmen definiert mit Hilfe von !, aber irgendwie kriege ich das mit dem Ask Jeeves Spider nicht gebacken. Resultat: Internal Server Error.
danke im Voraus für die Hilfe.
Chris