Seite 1 von 3
Provider will Server sperren wegen eines Crawlers
Verfasst: 01.03.2011, 13:42
von Staudi
Ich habe heute morgen eine E-Mail von meinem Provider erhalten in der mir zunächst eine Hacking Attacke von einem meiner Server vorgeworfen wird. Ich erklärte daraufhin, dass es sich dabei lediglich um einen Crawler, der täglich ca. 200 HTML Seiten ausliest.
Seitens des Providers besteht man aber weiterhin darauf, dass ich das Crawlen einer bestimmten Seite unterlasse. Ich habe im Internet und in der AGB des Providers nichts unrechtmäßiges im Einsatz von Crawlern gefunden. Man hat mir nun eine Frist von 2 Tagen gegeben.
Seitens des Providers heißt es:
Offensichtlich wird dieses Crawlen von der meldenden Partei als Belästigung empfunden.
Wir fordern Sie daher letztmalig dazu auf, das Crawlen gänzlich einzustellen oder eine Art Blacklist einzurichten, in welche Sie die meldende Partei aufnehmen.
Im übrigen handelt es sich bei der Person, die sich beim Provider beschwert hat um einen SEO und wahrscheinlich auch Mitglied dieses Forums.
Meine Frage: Hat jemand bereits ähnliches erlebt?
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
Verfasst: 01.03.2011, 13:50
von profo
Mach doch einfach eine Blacklist und gut, oder?
Verfasst: 01.03.2011, 15:01
von guppy
Das gleiche hatte ich auch schon, vermutlich der gleiche Provider, selbst wenn ein Server dort gemietet wurde machen die keine Faxen und knipsen das Licht aus.
In wie weit das rechtl. ok ist, kann ich auch nicht sagen, aber meist steht im Vertrag so eine "Rundumklausel".
Gerade habe ich auch wieder so ein Heckmeck mit einem V-Server," verursacht zuviel Last" - im Kiss steht aber Störung wegen ... attacke. Schalten die einfach ab und dann kommst Du in so ein "möchten Sie Bananen" Menü.
Verfasst: 01.03.2011, 15:02
von Hirnhamster
Wenn ich das richtig verstehe, fühlt sich eine dritter Person belästigt, weil du deren Seiten crawlst. Das ist doch die Begründung deines Servers und nicht etwa der generelle Einsatz von Crawlern.
Ihn stört es, es ist sein Content/seine Traffic Kosten/ whatever... also würd ich es an deiner Stelle bleiben lassen.
Verfasst: 01.03.2011, 15:21
von kostaki
Das hatte ich auch schon und der Server ging erst nach "Schriftlicher Stellungnahme" wieder online... Die Abuse Mail war von irgend einem automatischen System. Die Domain steht nun auf meiner Blacklist. Außerdem hatte ich danach kompletten robots.txt Support eingebaut und seit dem ist nichts mehr gekommen.
Verfasst: 01.03.2011, 15:56
von Lord Lommel
Öhm, warum crawlst du nicht einfach von Zuhause aus ?

Verfasst: 01.03.2011, 16:02
von jackwiesel
Der soll das Teil, wenn es ihn "belästigt", mittels robots.txt aussperren.
Wenn Dein Provider damit durchkommt will ich ne Abschrift, mit denen ich Bigfinder mal gern ans Bein p.... würde...!
Verfasst: 02.03.2011, 07:22
von Staudi
profo hat geschrieben:Mach doch einfach eine Blacklist und gut, oder?
Es geht mir hier um das Prinzip. Der X4d Backlinkchecker läuft auf dem gleichen Server. Wenn dieser also tatsächlich gesperrt wird, ist auch der Backlinkchecker nicht mehr erreichbar. Und dieser verwendet ja auch einen Crawler. Wenn sich nun jeder Webmaster über diesen Crawler bei meinem Provider beschwerrt, mach ich nichts anderes mehr als Webseiten in Blacklisten einzutragen.
Hirnhamster hat geschrieben:Ihn stört es, es ist sein Content/seine Traffic Kosten/ whatever... also würd ich es an deiner Stelle bleiben lassen.
Google und alle anderen Suchmaschinen machen doch das gleiche. Aber wenn ich mich vom Google Crawler gestört fühle, kann ich auch nicht einfach einen Provider anschreiben und anschließend werden die Server von Google abgeschaltet. Im übrigen verwende ich noch nicht einmal den Content der Seiten die gecrawlt werden.
Verfasst: 02.03.2011, 07:36
von lois69
du musst aber die robots.txt berücksichtigen. wenn der website-inhaber dein crawlen nicht will muss er es unterbinden können, aus und basta!
Verfasst: 02.03.2011, 07:44
von Staudi
lois69 hat geschrieben:du musst aber die robots.txt berücksichtigen. wenn der website-inhaber dein crawlen nicht will muss er es unterbinden können, aus und basta!
Das reicht dem Provider jedoch nicht aus.
Verfasst: 02.03.2011, 08:24
von jackwiesel
Mich würde mal interessieren, wer Dein Provider ist - dann kann man da künftig nen Bogen drum machen.
Vielleicht solltest Du das Teil in die USA auslagern, GoDaddy und Co. sind recht preiswert und machen nicht so ein Gedöns...
Verfasst: 02.03.2011, 08:35
von catcat
Jo. Ich hab nen Crawler bei godaddy auf einem 79 USD/Jahr Webspace laufen und hatte nie Stress.
Verfasst: 02.03.2011, 08:38
von Staudi
Ist ne gute Idee das auszulagern. Danke für den Tipp.
Verfasst: 02.03.2011, 08:48
von catcat
Man kackt nicht, wo man wohnt...
Verfasst: 02.03.2011, 08:58
von jackwiesel
catcat hat geschrieben:Man kackt nicht, wo man wohnt...
Ergo gehst Du zum Nachbarn in den Garten...