Seite 1 von 1
IP Frage zu Crawler (cometsearch@cometsystems.com)
Verfasst: 08.05.2005, 16:37
von redcan
Kennt jemand die IP 66.150.55.230 durchsucht derzeit kpl. meine domain, dns kann nicht gefunden werden
logdatei = Crawler (
cometsearch@cometsystems.com)
sollte ich ihn sperren ?
danke für eure hilfe
andre
IP Frage zu Crawler (cometsearch@cometsystems.com)
Verfasst: 08.05.2005, 20:38
von Luckybuy3000
Zu cometsearch habe ich hier schon mal eine Frage gestellt, der Grund war genau der gleiche.enormer Trafficverbrauch. Anscheinend macht er am Anfang immer einen Deep Crawl.Hab ihn dann mal vorübergehend ausgesperrt, aber jetzt darf er wieder crawlen.
Wenn du deine Seite im Index haben willst, dann lass ihn halt. Allerdings haben wir eine dreisprachige Seite und möchten auch mehr User aus den USA auf uns aufmerksam machen. Also solltest du abwägen, ob es sich für deine Seite überhaupt lohnt.
P.S.: Deine Frage wäre unter Spider/Robots aber passender gewesen.
IP Frage zu Crawler (cometsearch@cometsystems.com)
Verfasst: 09.05.2005, 08:38
von redcan
hallo luckybuy,
danke für deine info.
P.S.: Deine Frage wäre unter Spider/Robots aber passender gewesen.
ja, du hast recht.
