Provider will Server sperren wegen eines Crawlers

Beitrag von **Staudi** » 01.03.2011, 13:42

Ich habe heute morgen eine E-Mail von meinem Provider erhalten in der mir zunächst eine Hacking Attacke von einem meiner Server vorgeworfen wird. Ich erklärte daraufhin, dass es sich dabei lediglich um einen Crawler, der täglich ca. 200 HTML Seiten ausliest.

Seitens des Providers besteht man aber weiterhin darauf, dass ich das Crawlen einer bestimmten Seite unterlasse. Ich habe im Internet und in der AGB des Providers nichts unrechtmäßiges im Einsatz von Crawlern gefunden. Man hat mir nun eine Frist von 2 Tagen gegeben.

Seitens des Providers heißt es:

Offensichtlich wird dieses Crawlen von der meldenden Partei als Belästigung empfunden.

Wir fordern Sie daher letztmalig dazu auf, das Crawlen gänzlich einzustellen oder eine Art Blacklist einzurichten, in welche Sie die meldende Partei aufnehmen.

Im übrigen handelt es sich bei der Person, die sich beim Provider beschwert hat um einen SEO und wahrscheinlich auch Mitglied dieses Forums.

Meine Frage: Hat jemand bereits ähnliches erlebt?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **profo** » 01.03.2011, 13:50

Mach doch einfach eine Blacklist und gut, oder?

Beitrag von **guppy** » 01.03.2011, 15:01

Das gleiche hatte ich auch schon, vermutlich der gleiche Provider, selbst wenn ein Server dort gemietet wurde machen die keine Faxen und knipsen das Licht aus.
In wie weit das rechtl. ok ist, kann ich auch nicht sagen, aber meist steht im Vertrag so eine "Rundumklausel".

Gerade habe ich auch wieder so ein Heckmeck mit einem V-Server," verursacht zuviel Last" - im Kiss steht aber Störung wegen ... attacke. Schalten die einfach ab und dann kommst Du in so ein "möchten Sie Bananen" Menü.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Hirnhamster** » 01.03.2011, 15:02

Wenn ich das richtig verstehe, fühlt sich eine dritter Person belästigt, weil du deren Seiten crawlst. Das ist doch die Begründung deines Servers und nicht etwa der generelle Einsatz von Crawlern.

Ihn stört es, es ist sein Content/seine Traffic Kosten/ whatever... also würd ich es an deiner Stelle bleiben lassen.

Beitrag von **kostaki** » 01.03.2011, 15:21

Das hatte ich auch schon und der Server ging erst nach "Schriftlicher Stellungnahme" wieder online... Die Abuse Mail war von irgend einem automatischen System. Die Domain steht nun auf meiner Blacklist. Außerdem hatte ich danach kompletten robots.txt Support eingebaut und seit dem ist nichts mehr gekommen.

Beitrag von **Lord Lommel** » 01.03.2011, 15:56

Öhm, warum crawlst du nicht einfach von Zuhause aus ?

Beitrag von **jackwiesel** » 01.03.2011, 16:02

Der soll das Teil, wenn es ihn "belästigt", mittels robots.txt aussperren.

Wenn Dein Provider damit durchkommt will ich ne Abschrift, mit denen ich Bigfinder mal gern ans Bein p.... würde...!

Beitrag von **Staudi** » 02.03.2011, 07:22

profo hat geschrieben:Mach doch einfach eine Blacklist und gut, oder?

Es geht mir hier um das Prinzip. Der X4d Backlinkchecker läuft auf dem gleichen Server. Wenn dieser also tatsächlich gesperrt wird, ist auch der Backlinkchecker nicht mehr erreichbar. Und dieser verwendet ja auch einen Crawler. Wenn sich nun jeder Webmaster über diesen Crawler bei meinem Provider beschwerrt, mach ich nichts anderes mehr als Webseiten in Blacklisten einzutragen.

Hirnhamster hat geschrieben:Ihn stört es, es ist sein Content/seine Traffic Kosten/ whatever... also würd ich es an deiner Stelle bleiben lassen.

Google und alle anderen Suchmaschinen machen doch das gleiche. Aber wenn ich mich vom Google Crawler gestört fühle, kann ich auch nicht einfach einen Provider anschreiben und anschließend werden die Server von Google abgeschaltet. Im übrigen verwende ich noch nicht einmal den Content der Seiten die gecrawlt werden.

Beitrag von **Anonymous** » 02.03.2011, 07:36

du musst aber die robots.txt berücksichtigen. wenn der website-inhaber dein crawlen nicht will muss er es unterbinden können, aus und basta!

Beitrag von **Staudi** » 02.03.2011, 07:44

lois69 hat geschrieben:du musst aber die robots.txt berücksichtigen. wenn der website-inhaber dein crawlen nicht will muss er es unterbinden können, aus und basta!

Das reicht dem Provider jedoch nicht aus.

Beitrag von **jackwiesel** » 02.03.2011, 08:24

Mich würde mal interessieren, wer Dein Provider ist - dann kann man da künftig nen Bogen drum machen.

Vielleicht solltest Du das Teil in die USA auslagern, GoDaddy und Co. sind recht preiswert und machen nicht so ein Gedöns...

Beitrag von **catcat** » 02.03.2011, 08:35

Jo. Ich hab nen Crawler bei godaddy auf einem 79 USD/Jahr Webspace laufen und hatte nie Stress.

Beitrag von **Staudi** » 02.03.2011, 08:38

Ist ne gute Idee das auszulagern. Danke für den Tipp.

Beitrag von **catcat** » 02.03.2011, 08:48

Man kackt nicht, wo man wohnt...

Beitrag von **jackwiesel** » 02.03.2011, 08:58

catcat hat geschrieben:Man kackt nicht, wo man wohnt...

Ergo gehst Du zum Nachbarn in den Garten...