Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

PicSpider/1.1

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

 Googlebot bricht Crawl ab

Habe eine IP seit vorgestern drauf!?!

 
bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 31.05.2005, 17:44

217.20.118.26 - - [31/May/2005:18:12:56 +0200] "GET /foo/ HTTP/1.0" 200 186 "-" "PicSpider/1.1 (spider@217-20-118-26.internetserviceteam.com; https://www.bildkiste.de)"

Hatte keine Lust auf robots.txt.

Ich gebe neuerdings keine 403 mehr aus, sondern 200er mit Null-Content-Seite
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

Nach oben