Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

HTMLDOC

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

 php seite | ids für robots sperren

Spambot "EsperanzaBot" besser sperren

 
bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 11.09.2005, 08:59

Code: Alles auswählen

213.83.55.58 - - [11/Sep/2005:02:16:22 +0200] "GET / HTTP/1.1" 403 - "-" "HTMLDOC v1.8.23" "-"
Keine robots.txt :arrow: deny from 213.83.55.32/27


Wenn Herr Wegener hier ist, wäre es doch sehr nett, wenn mitteilen würde, zu welchem Zwecke gecrawlt wird.
Nach oben
Antworten

Zurück zu „Spiders / Robots Themen“