"Bösewichte" mit robots.txt aussperren

Beitrag von **hakker82** » 25.04.2005, 09:08

Hier im Forum habe ich schon vieles über "böse" Bots gelesen. Hat jemand eine robots.txt, die all diese bots aussperrt? Besonders große Angst habe ich von Inktomi, der viel traffic verursachen soll.

Wäre toll, wenn jemand eine gute robots.txt posten könnte.

von **Anzeige von ABAKUS** »

Beitrag von **larsneo** » 25.04.2005, 09:51

mittels robots.txt kannst du nur suchmaschinen darauf hinweise, bestimmte bereiche nicht in den index aufzunehmen (ob sie sich letztendlich daran halten ist noch eine andere frage). wirklich aussperren kannst du die bösen bots in aller regel nur über eine entsprechende .htaccess
meine 'private' banliste gegen unerwünschte bots und mailharvester findet sich *hier*

Beitrag von **hakker82** » 25.04.2005, 09:56

Echt toll, das werde ich sofort in meine .htaccess einbinden. Danke.

Beitrag von **Chris2005** » 25.04.2005, 12:22

Hier gibt es auch einen Thread dazu : https://www.abakus-internet-marketing.d ... art-0.html

Wie aber Bull im o.a. Thread geschrieben hat. Man sollte nicht einfach "willenlos" alles per Copy&Paste übernehmen.