Syntax zur nocrawlersoft.txt ?

Beitrag von **axelm** » 22.02.2005, 11:18

Hi,

in
https://www.abakus-internet-marketing.d ... rsoft.html

wird über einen Bot berichtet.
Wenn man diesen ausperren möchte, reicht es eine
nocrawlersoft.txt
im Root abzulegen oder muss da noch was drin stehen?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Jörg** » 22.02.2005, 12:59

Ich würde den Bot, wie von bull beschrieben, über die .htaccess sperren. Wäre ja noch schöner, wenn man nun für jeden Bot eine eigene Datei anlegen soll.

Beitrag von **robo** » 22.02.2005, 14:29

Die erfolglosen Zugriffe auf nocrawlersoft.txt habe ich auch in den Logfiles gefunden. Und über Google habe ich dann weitere Infos zu diesem Mist gefunden.

Kann mich daher nur meinem Vorredner anschliessen: Aussperren und fertig!

cu, Robo

Beitrag von **bull** » 22.02.2005, 17:19

Vermutlich ist die Erstellerin der Software nur nicht in der Lage, einen robots.txt-Parser zu implementieren

Mein Vorschlag: bot trap à la webmasterworld mit
RewriteRule nocrawlersoft.txt bottrap.php [L]
kombinieren, dann ist das ganze IP-unabhängig