ich weiß, dass es zur robots.txt schon viele Threads gibt aber meine Suche hat nichts Brauchbares ergeben.
Meine robots.txt sieht aktuell einfach so aus:
Code: Alles auswählen
User-agent: *
Disallow:
Jetzt habe ich aber gesehen, dass abakus z.B. eine riesige Robots.txt hat in der viele Spider ausgesperrt werden, also:
Code: Alles auswählen
User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
User-agent: looksmart
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: larbin
Disallow: /
User-agent: b2w/0.1
Disallow: /
...
usw.Wofür ist es gut Spider auszusperren, denn ich denke mal die, die meinen Content klauen wollen halten sich sowieso nicht an die robots.txt oder?
Und wie kann ich die robots.txt auf dem aktuellen Stand halten, wenn ich so wie abakus, sehr viele Bots ausschließe?
Gruß
ab
