Erfahrungen mit "SISTRIX Crawler" ??

[mwitte]

Ziemlich schräge Ansicht für einen Moderator, in dessen Forum sich Leute über Fragen des Internet austauschen und auf Fehlentwicklungen hinweisen.
Konsequenterweise machst Du das Forum am besten dicht und stellst nur noch die eMail-Adressen des Supports von Google, Amazon etc. hier ein.
Ach ja, und von Sistrix, natürlich.
Die ändern dann auf Anfrage sofort ihre Praxis, wie man ja seit deren Posting aus 2011 unschwer sehen kann...

Ich glaube Du hast da etwas falsch verstanden.
Es geht hier weder darum jemandem den Mund zu verbieten o.ä..
Sondern es ging darum, dass der User, der den Beitrag wieder hoch geholt hat, ganz konkret Sistrix anspricht bzw. ansprechen will:

Ihr bei SISTRIX habt einen veritablen Schaden und all eure IP's werden jetzt mal schön von gebannt bei mir.
Meinen Server zu bombardieren mit Anfragen im 2 sek. Takt - sag mal hackts bei euch? Meint ihr der Traffic ist heutzutage vollkommen umsonst oder wie. Irre was sich manche Firmen einbilden.

Ihr seid eine Spambombe, mehr nicht.

Und wenn er sicher stellen möchte, dass der angedachte Empfänger die Nachricht auch liest wäre es sinnvoll ihn direkt anzusprechen.

Die Freiheit "Erfahrungen auszutauschen und auf Fehlentwicklungen hinzuweisen" habt Ihr hier weiterhin -- nur bietet sich manchmal (zusätzlich) dennoch der Support an...

[stefank]

wieso blockiert ihr nich einfach die ganzen seo-robots, sistrix, aber auch majstic und wie sie alle heissen. hat für die eigene seite absolut keinen mehrwert - sondern nur nachteil

[MeNoZony]

wieso blockiert ihr nich einfach die ganzen seo-robots, sistrix, aber auch majstic und wie sie alle heissen. hat für die eigene seite absolut keinen mehrwert - sondern nur nachteil

Weil es für die meisten einen enormen Aufwand bedeutet, denn dazu muß man ständig Logs kontrollieren, weil ständig neue Datensauger dazukommen.
Und: nicht jeder kommt mit Kennung rein, viele einfach über nicht aufzulösende Adressen, die man aber an der Häufigkeit der Zugriffe erkennen kann.
Andere wiederum, insbesondere aus dem Osten, sind so geschickt, daß sie immer nur eine kleine Zahl an Zugriffen vornehmen und darüberhinaus alle paar Sekunden über einen anderen Zugangsprovider (wohlgemerkt: nicht Hostingprovider) reinkommen. Auffallen tun sie nur, weil sie stellenweise parrallel über diverse Zugangsprovider aus Russland zugreifen. Völlig nutzlose Belastung der Server für den Seitenbetreiber.
Was man zu den üblichen Verdächtigen sagen kann ist, daß es einen großen Schritt weiterhilft, die Zugriffe aus dem Hetzner- und OVH-Netzwerk zu sperren. Damit ist schon einiges erledigt.
Der Rest ist Handarbeit.
Mal als Hausnummer: ich habe bislang fast 1500 IP-Blöcke auf meiner Liste und es kommen täglich neue hinzu.
Wer da was sperren will, muß sich also auf ein kleines bisschen Arbeit einstellen und damit rechnen, daß seine Zugriffszahlen, hinter denen er bislang echte Menschen vermutete, auf erschreckende Weise eindampfen.
Wenn danach noch 50% der vorhergehenden Zahlen übrigbleiben, würde mich das erstaunen...

[stefank]

wieso blockiert ihr nich einfach die ganzen seo-robots, sistrix, aber auch majstic und wie sie alle heissen. hat für die eigene seite absolut keinen mehrwert - sondern nur nachteil

Weil es für die meisten einen enormen Aufwand bedeutet, denn dazu muß man ständig Logs kontrollieren, weil ständig neue Datensauger dazukommen.
Und: nicht jeder kommt mit Kennung rein, viele einfach über nicht aufzulösende Adressen, die man aber an der Häufigkeit der Zugriffe erkennen kann.
Andere wiederum, insbesondere aus dem Osten, sind so geschickt, daß sie immer nur eine kleine Zahl an Zugriffen vornehmen und darüberhinaus alle paar Sekunden über einen anderen Zugangsprovider (wohlgemerkt: nicht Hostingprovider) reinkommen. Auffallen tun sie nur, weil sie stellenweise parrallel über diverse Zugangsprovider aus Russland zugreifen. Völlig nutzlose Belastung der Server für den Seitenbetreiber.
Was man zu den üblichen Verdächtigen sagen kann ist, daß es einen großen Schritt weiterhilft, die Zugriffe aus dem Hetzner- und OVH-Netzwerk zu sperren. Damit ist schon einiges erledigt.
Der Rest ist Handarbeit.
Mal als Hausnummer: ich habe bislang fast 1500 IP-Blöcke auf meiner Liste und es kommen täglich neue hinzu.
Wer da was sperren will, muß sich also auf ein kleines bisschen Arbeit einstellen und damit rechnen, daß seine Zugriffszahlen, hinter denen er bislang echte Menschen vermutete, auf erschreckende Weise eindampfen.
Wenn danach noch 50% der vorhergehenden Zahlen übrigbleiben, würde mich das erstaunen...

könntest du mir die liste evtl. mal zukommen lassen? ich kämpfe auch ständig mit den bots und diese liste würde mir sehr viel weiterhelfen

[marc77]

Hallo,

die load meines Servers ist den ganzen morgen schon recht hoch. Es geht um ein Forum mit 500 k Beiträgen.

Ein Blick mit tail -f in die access.log zeigt, dass der Sistrix bot extrem viele Anfragen an den Server stellt, der mysql server ist ausgelastet.

Der Server schafft es zwar noch die last aufzuteilen, ist ein quadcore aber wenn ich stündlich sichere mit mysqldump wird es schon kritisch, zumal ich auch dauerhaft ca. 400 Mitglieder online habe.

Ich musste jetzt den sistrix bot in der htaccess sperren und habe Ihn in der robots.txt geblockt. Nach dem Eintrag in die htaccess werden ja nur noch 403er ausgeliefert, sieht man ja schön in der access.log.

Die load ging nach dem dem speichern der htaccess auch sofort runter. Trotzdem versucht es der Bot nun schon seit 4 Stunden. Warum hält sich der bot nicht an die robots.txt? Allein durch die vielen 403er pro Sekunde ist die Last höher also normal. Muss die robots.txt erst neu von Ihm eingelesen werde oder wie kann ich den Bot stoppen?

Stimmt der Eintrag in der robots.txt nicht mehr?

User-agent: sistrix
Disallow: /

Grüße