Seite 1 von 1
Alles außer Slurp, MSN, Google und Inktomi sperren
Verfasst: 15.08.2005, 22:17
von excess
Hat jemand eine aktuelle Disallow-Liste für meine robots.txt?
Rausgesperrt werden sollen ALLE Bots außer die oben genannten...
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Alles außer Slurp, MSN, Google und Inktomi sperren
Verfasst: 16.08.2005, 01:16
von Chris2005
Mit der robots.txt wirst Du da nicht gluecklich werden, denn nur ein geringer Teil der Bots haelt sich an die robots.txt.
Guck mal hier im Forum nach bots ausperren via .htaccess . Aber selbst mit der Liste wird Du nicht
alles erwischen.
Ansonsten mal folgendes probieren:
robots.txt
User-Agent: Googlebot
Allow: /
User-Agent: Slurp
Allow: /
User-Agent: msnbot
Allow: /
User-Agent: *
Disallow: /
