ABAKUS

Hier im Forum habe ich schon vieles über "böse" Bots gelesen. Hat jemand eine robots.txt, die all diese bots aussperrt? Besonders große Angst habe ich von Inktomi, der viel traffic verursachen soll.

Wäre toll, wenn jemand eine gute robots.txt posten könnte.

mittels robots.txt kannst du nur suchmaschinen darauf hinweise, bestimmte bereiche nicht in den index aufzunehmen (ob sie sich letztendlich daran halten ist noch eine andere frage). wirklich aussperren kannst du die bösen bots in aller regel nur über eine entsprechende .htaccess
meine 'private' banliste gegen unerwünschte bots und mailharvester findet sich *hier*

Echt toll, das werde ich sofort in meine .htaccess einbinden. Danke.

Hier gibt es auch einen Thread dazu : https://www.abakus-internet-marketing.d ... art-0.html

Wie aber Bull im o.a. Thread geschrieben hat. Man sollte nicht einfach "willenlos" alles per Copy&Paste übernehmen.