Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

"serverkompetenz.net" - bad, bad bot?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
JR-EWING
PostRank 9
PostRank 9
Beiträge: 1098
Registriert: 19.02.2004, 10:16
Wohnort: Untermeitingen

Beitrag von JR-EWING » 06.11.2006, 15:25

ja so seh ich das auch. HEAD für einen Check ob die Links bzw Dateien noch da sind - sinnvoll.
Aber zum Contentklau wohl kaum geeignet, deswegen wird das da auch angezweifelt.

Es sei denn
vielleicht wollen die ja auch keine großen Filme,MP3 oder sowas größeres ziehen sondern nur Texte. Deswegen erstmal mit HEAD und dann später mit GET
Da GET keine Dateigröße ausliefert können die da nicht gleich damit drauf gehen