Alles außer Slurp, MSN, Google und Inktomi sperren

Beitrag von **excess** » 15.08.2005, 22:17

Hat jemand eine aktuelle Disallow-Liste für meine robots.txt?

Rausgesperrt werden sollen ALLE Bots außer die oben genannten...

von **Anzeige von ABAKUS** »

Beitrag von **Chris2005** » 16.08.2005, 01:16

Mit der robots.txt wirst Du da nicht gluecklich werden, denn nur ein geringer Teil der Bots haelt sich an die robots.txt.

Guck mal hier im Forum nach bots ausperren via .htaccess . Aber selbst mit der Liste wird Du nicht alles erwischen.

Ansonsten mal folgendes probieren:

robots.txt

User-Agent: Googlebot
Allow: /

User-Agent: Slurp
Allow: /

User-Agent: msnbot
Allow: /

User-Agent: *
Disallow: /