Hallo Katja,
ich bin mir ja nicht ganz sicher. Aber wenn du die Bots bis auf Google sperren willst, wäre dann nicht htaccess die bessere Methode als in der robots.txt
Und für deinen Fall muß ich an den Thread über emailharvester und spambots denken, den wir hier vor kurzem hatten:
https://www.abakus-internet-marketing.d ... e0b5f.html
Auf Seite 4 schrieb da bull:
"
Weiterhin erscheint es sinnvoll, User-agents, welche mit Kleinbuchstaben oder Zahlen beginnen, auszuschließen, einige wie msnbot hingegen nicht. Es gab letzthin immer wieder zufällige User-agents, welche mit Kleinbuchstaben begannen.
Code:
RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9]+
RewriteCond %{HTTP_USER_AGENT} !^msnbot
RewriteCond %{HTTP_USER_AGENT} !^contype
RewriteCond %{HTTP_USER_AGENT} !^wwwster
RewriteCond %{HTTP_USER_AGENT} !^ia_archiver
RewriteCond %{HTTP_USER_AGENT} !^arianna\.libero
"
Wende ich mittlerweile auch erfolgreich an. Kann ich nur empfehlen.
Und dann schrieb bull noch:
Mittlerweile gehe ich allerdings sogar dazu über, neben Kleinbuchstaben bestimmte Anfangsbuchstaben zu sperren und bewege mich mehr oder weniger auf eine Positivliste zu.
Code:
RewriteCond %{HTTP_USER_AGENT} ^A.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^C.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^D.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^E.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^H.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^I.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^J.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^K.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^L.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^N.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Q.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^T.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^U.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^V.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^X.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Y.+
"
Wenn du dann eine Ausnahme für G oder Google zuläßt, ist es doch das, was du willst um zumindest nicht mehr neu gespidert zu werden?!?
Gruß
fool
