Provider will Server sperren wegen eines Crawlers

Beitrag von **catcat** » 02.03.2011, 09:00

Da fällt mir doch grade ein, das Du mir kürzlich nen Serverteil vermietet hast...
bin schon untawegs.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **jackwiesel** » 02.03.2011, 09:01

Alter, ich reiss Dir Deinen Hintern so weit auf, dass Du Dir beim Kacken den Hals dreckig machst...

Beitrag von **catcat** » 02.03.2011, 09:41

Mowl, Hosterhoschi. Oder Du hast da schneller die russische Version von WikiLeaks und YouPorn drauf, als Du auf den Notaus klicken kannst

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **jackwiesel** » 02.03.2011, 09:42

Meine Tatze tippelt schon neben der Steckdose...

Beitrag von **catcat** » 02.03.2011, 09:48

Keep cool, Alter.
Ich schau mir grade noch nen Film fertig an. Dauer bis Ende: 1:32h.
Und dann guck ich mir noch den 2., 3. und 4. Teil an.

Man kann ja nicht nur den 1. Terminator gucken während der teuren Arbeitszeit, nech?

Beitrag von **Synonym** » 02.03.2011, 09:55

Mal wieder zum Thema... Verstehen kann ich das aber schon, das mit dem Crawler.... Bei Dir mag das nun was anderes sein, mit Deinen 200 Seiten, aber es gibt nun mal auch andere. Andere, die sich nicht an robots.txt halten und binnen Sekunden 2-3 Seiten abgrasen und das den ganzen Tag lang. Da hab ich dann auch langsam mal die Faxen dicke, vor allem wenn das so ein Pseudoding ist. Und ehrlich gesagt, jeden "Depp" in die robots.txt einzutragen finde ich auch lästig. Nichts gegen nützliches, wie auch der x4d, aber dieses Unnütze, das nur unnötig Traffik verursacht.... Nee... Dir gehört nicht zufällig dieser BotOnParade oder wie der heißt?

Beitrag von **progger** » 02.03.2011, 10:12

immer dieses ...ich beschwer mich da ich beschwer mich dort...

warum regeln die das nicht menschlich ?

Ich hätte dein server unter ddos versetzt ergendwann hättest du das crawlen meiner seite gelassen...

aber ne...anschwärzen gehen.

Beitrag von **Synonym** » 02.03.2011, 10:23

@progger
Und warum widersprichst Du Dir selbst? Menschlich regeln hat nichts mit ddos zu tun !?

Und nicht alles kann man menschlich regeln, vor allem nicht, wenn die Gegenseite nicht antwortet / reagiert.

Und das mit dem anschwärzen... Naja, das sagt einer, der nur über andere lästert, oder wie war das mit dem PP?

Beitrag von **profo** » 02.03.2011, 10:53

Staudi hat geschrieben:
profo hat geschrieben:Mach doch einfach eine Blacklist und gut, oder?
Es geht mir hier um das Prinzip. Der X4d Backlinkchecker läuft auf dem gleichen Server. Wenn dieser also tatsächlich gesperrt wird, ist auch der Backlinkchecker nicht mehr erreichbar. Und dieser verwendet ja auch einen Crawler. Wenn sich nun jeder Webmaster über diesen Crawler bei meinem Provider beschwerrt, mach ich nichts anderes mehr als Webseiten in Blacklisten einzutragen.

Kann ich im Prinzip nachvollziehen. Wahrscheinlich würde ich trotzdem die Blacklist nehmen, solange einmal im Jahrtausend ein Webmaster rumzickt. Oder, noch wahrscheinlicher, ich würde wie catcat auf den Server von Jackwiesel wechseln

Beitrag von **jackwiesel** » 02.03.2011, 11:01

Kann ich im Prinzip nachvollziehen. Wahrscheinlich würde ich trotzdem die Blacklist nehmen, solange einmal im Jahrtausend ein Webmaster rumzickt. Oder, noch wahrscheinlicher, ich würde wie catcat auf den Server von Jackwiesel wechseln

*BOX*

Beitrag von **Pompom** » 02.03.2011, 18:46

...wenn ich mich über jeden Crawler aufregen würde...
Die stehen bei mir schnelle mal auf der IP-Sperre, genau so wie halb Südamerika, China, Afrika usw.

Aber manche Leute haben nichts besseres zu tun, als immer irgendwo weinen zu gehen.

Beitrag von **everflux** » 03.03.2011, 12:32

Ich hab das Problem mit Crawlern auch, vor allem wenn diese "teure" Anfragen machen und dabei auch mal 4 Anfragen parallel pro Sekunde machen. Wenn dann noch die robots.txt ignoriert wird, sehe ich das als Abuse an.
Meldungen mache ich da nicht, kost mehr Arbeit als die betreffende IP Range in die Blacklist aufzunehmen.

Beitrag von **progger** » 04.03.2011, 10:25

ich rege mich net über crawler auf...sondern über die menschheit...

dere eine klaut da...der andere dort... soll ich jedem ne email schreiben ?

kann ja lange dauern.

@Synonym

Wenn die gegenseite nicht antwortet dann hilf ddos..wäre aber auch wieder aufwand.

Legs? Was ist bitte Legs ? Wenn er crawlen will bitte..kommt sowieso jenach webseite rank

mfg

Beitrag von **Synonym** » 04.03.2011, 10:37

Wenn die gegenseite nicht antwortet dann hilf ddos..wäre aber auch wieder aufwand.

Warum bitte? Warum soll ich auch noch eine Straftat begehen?

Wenn der sich auf mehrere Mails nicht meldet, dann geht es an den Hoster, soll der sich drum kümmern. Hat auch schon immer funktioniert. Arbeitsaufwand: 2 Minuten. Da dauern die ganzen freundlichen Mails vorher wesentlich länger. Und ich rede hier auch nicht von irgendwelchen kleines Spidern, die mal zwischendurch vorbei kommen, sondern von solchen, die fast mehr Traffik verursachen wie Google und NULL Nutzen haben, so etwa der "BotOnParade".

Beitrag von **everflux** » 04.03.2011, 12:20

Wobei es auch "nette" crawler gibt - die dennoch nicht so serioes aussehen, hier ist "cityreview" neu aufgetaucht. Und tut noch so, als haett er was mit sixtrix zu tun - bei _der_ startseite bestimmt nicht:

https://img191.imageshack.us/i/cityrevi ... ional.png/

Aber ich lass ihn erstmal