IP Frage zu Crawler (cometsearch@cometsystems.com)

Beitrag von **redcan** » 08.05.2005, 16:37

Kennt jemand die IP 66.150.55.230 durchsucht derzeit kpl. meine domain, dns kann nicht gefunden werden
logdatei = Crawler (cometsearch@cometsystems.com)

sollte ich ihn sperren ?

danke für eure hilfe

andre

von **Anzeige von ABAKUS** »

Beitrag von **Luckybuy3000** » 08.05.2005, 20:38

Zu cometsearch habe ich hier schon mal eine Frage gestellt, der Grund war genau der gleiche.enormer Trafficverbrauch. Anscheinend macht er am Anfang immer einen Deep Crawl.Hab ihn dann mal vorübergehend ausgesperrt, aber jetzt darf er wieder crawlen.
Wenn du deine Seite im Index haben willst, dann lass ihn halt. Allerdings haben wir eine dreisprachige Seite und möchten auch mehr User aus den USA auf uns aufmerksam machen. Also solltest du abwägen, ob es sich für deine Seite überhaupt lohnt.

P.S.: Deine Frage wäre unter Spider/Robots aber passender gewesen.

Beitrag von **redcan** » 09.05.2005, 08:38

hallo luckybuy,

danke für deine info.

P.S.: Deine Frage wäre unter Spider/Robots aber passender gewesen.

ja, du hast recht.