Provider will Server sperren wegen eines Crawlers

[catcat]

Da fällt mir doch grade ein, das Du mir kürzlich nen Serverteil vermietet hast...
bin schon untawegs.

[jackwiesel]

Alter, ich reiss Dir Deinen Hintern so weit auf, dass Du Dir beim Kacken den Hals dreckig machst...

[catcat]

Mowl, Hosterhoschi. Oder Du hast da schneller die russische Version von WikiLeaks und YouPorn drauf, als Du auf den Notaus klicken kannst

[jackwiesel]

Meine Tatze tippelt schon neben der Steckdose...

[catcat]

Keep cool, Alter.
Ich schau mir grade noch nen Film fertig an. Dauer bis Ende: 1:32h.
Und dann guck ich mir noch den 2., 3. und 4. Teil an.

Man kann ja nicht nur den 1. Terminator gucken während der teuren Arbeitszeit, nech?

[Synonym]

Mal wieder zum Thema... Verstehen kann ich das aber schon, das mit dem Crawler.... Bei Dir mag das nun was anderes sein, mit Deinen 200 Seiten, aber es gibt nun mal auch andere. Andere, die sich nicht an robots.txt halten und binnen Sekunden 2-3 Seiten abgrasen und das den ganzen Tag lang. Da hab ich dann auch langsam mal die Faxen dicke, vor allem wenn das so ein Pseudoding ist. Und ehrlich gesagt, jeden "Depp" in die robots.txt einzutragen finde ich auch lästig. Nichts gegen nützliches, wie auch der x4d, aber dieses Unnütze, das nur unnötig Traffik verursacht.... Nee... Dir gehört nicht zufällig dieser BotOnParade oder wie der heißt?

[progger]

immer dieses ...ich beschwer mich da ich beschwer mich dort...

warum regeln die das nicht menschlich ?

Ich hätte dein server unter ddos versetzt ergendwann hättest du das crawlen meiner seite gelassen...


aber ne...anschwärzen gehen.

[Synonym]

@progger
Und warum widersprichst Du Dir selbst? Menschlich regeln hat nichts mit ddos zu tun !?

Und nicht alles kann man menschlich regeln, vor allem nicht, wenn die Gegenseite nicht antwortet / reagiert.

Und das mit dem anschwärzen... Naja, das sagt einer, der nur über andere lästert, oder wie war das mit dem PP?

[profo]

Mach doch einfach eine Blacklist und gut, oder?

Es geht mir hier um das Prinzip. Der X4d Backlinkchecker läuft auf dem gleichen Server. Wenn dieser also tatsächlich gesperrt wird, ist auch der Backlinkchecker nicht mehr erreichbar. Und dieser verwendet ja auch einen Crawler. Wenn sich nun jeder Webmaster über diesen Crawler bei meinem Provider beschwerrt, mach ich nichts anderes mehr als Webseiten in Blacklisten einzutragen.

Kann ich im Prinzip nachvollziehen. Wahrscheinlich würde ich trotzdem die Blacklist nehmen, solange einmal im Jahrtausend ein Webmaster rumzickt. Oder, noch wahrscheinlicher, ich würde wie catcat auf den Server von Jackwiesel wechseln

[jackwiesel]

Kann ich im Prinzip nachvollziehen. Wahrscheinlich würde ich trotzdem die Blacklist nehmen, solange einmal im Jahrtausend ein Webmaster rumzickt. Oder, noch wahrscheinlicher, ich würde wie catcat auf den Server von Jackwiesel wechseln

*BOX*

[Pompom]

...wenn ich mich über jeden Crawler aufregen würde...
Die stehen bei mir schnelle mal auf der IP-Sperre, genau so wie halb Südamerika, China, Afrika usw.

Aber manche Leute haben nichts besseres zu tun, als immer irgendwo weinen zu gehen.

[everflux]

Ich hab das Problem mit Crawlern auch, vor allem wenn diese "teure" Anfragen machen und dabei auch mal 4 Anfragen parallel pro Sekunde machen. Wenn dann noch die robots.txt ignoriert wird, sehe ich das als Abuse an.
Meldungen mache ich da nicht, kost mehr Arbeit als die betreffende IP Range in die Blacklist aufzunehmen.

[progger]

ich rege mich net über crawler auf...sondern über die menschheit...

dere eine klaut da...der andere dort... soll ich jedem ne email schreiben ?

kann ja lange dauern.

@Synonym

Wenn die gegenseite nicht antwortet dann hilf ddos..wäre aber auch wieder aufwand.




Legs? Was ist bitte Legs ? Wenn er crawlen will bitte..kommt sowieso jenach webseite rank

mfg

[Synonym]

Wenn die gegenseite nicht antwortet dann hilf ddos..wäre aber auch wieder aufwand.

Warum bitte? Warum soll ich auch noch eine Straftat begehen?

Wenn der sich auf mehrere Mails nicht meldet, dann geht es an den Hoster, soll der sich drum kümmern. Hat auch schon immer funktioniert. Arbeitsaufwand: 2 Minuten. Da dauern die ganzen freundlichen Mails vorher wesentlich länger. Und ich rede hier auch nicht von irgendwelchen kleines Spidern, die mal zwischendurch vorbei kommen, sondern von solchen, die fast mehr Traffik verursachen wie Google und NULL Nutzen haben, so etwa der "BotOnParade".

[everflux]

Wobei es auch "nette" crawler gibt - die dennoch nicht so serioes aussehen, hier ist "cityreview" neu aufgetaucht. Und tut noch so, als haett er was mit sixtrix zu tun - bei _der_ startseite bestimmt nicht:


https://img191.imageshack.us/i/cityrevi ... ional.png/

Aber ich lass ihn erstmal