SISTRIX hat mein Forum 2 mal zum Absturz gebracht

Beitrag von **speditionen** » 03.12.2011, 08:49

Hallo

Ich betreibe ein Forum mit mehr als 7000 Mitgliedern
und derzeit sind 111.000 Seiten vorhanden.

Der Boots hat dummerweise mehrere Anfragen pro sec. gestartet.
Dabei wurden Zession gestartet und nicht geschlossen. Die Folge war, dass die Datenbank abstürzte.

Nach dem 24.000 Seiten gescannt waren hat mein Programmierer die Seite ausgesperrt.
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* https://www.google.de [L,NC,QSA]

Meine Frage ist nun, was für Informationen benötigt Jemand über ein Forum, die einzelnen Beiträge sind doch schnarch langweilig.
Was macht einer mit solchen Daten?

Hat jemand eine Idee

Grüße

von **Anzeige von ABAKUS** »

Beitrag von **kostaki** » 03.12.2011, 09:04

Schätze mal es geht um die Backlinksuche.

Bots unterstützen meistens keine Sessions, da sie keine Cookie speichern. Du kannst den Bot auch sicher über die robots.txt aussperren.

Beitrag von **mwitte** » 03.12.2011, 11:11

Vielleicht fragst du einfach mal Johannes dazu
Der meldet sich aber auch sicher hier zu Wort

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **Thorny** » 04.12.2011, 21:10

Hallo,

speditionen hat geschrieben:
Ich betreibe ein Forum mit mehr als 7000 Mitgliedern
und derzeit sind 111.000 Seiten vorhanden.

Der Boots hat dummerweise mehrere Anfragen pro sec. gestartet.
Dabei wurden Zession gestartet und nicht geschlossen. Die Folge war, dass die Datenbank abstürzte.

Das klingt ehrlich gesagt auch nach einem technischen Problem deines Forums. Würdest du mir eine URL mitteilen, häufig läßt sich bereits auf den ersten Blick etwas sehen.

Ansonsten kannst du alle guten Bots per robots.txt aussperren.

Meine Frage ist nun, was für Informationen benötigt Jemand über ein Forum, die einzelnen Beiträge sind doch schnarch langweilig.
Was macht einer mit solchen Daten?

Das ist ganz unterschiedlich. Bei Sistrix würde ich auf die Analyze von Backlinks tippen. Ich betreibe zum Beispiel einen Crawler, um Domainnamen aufzutreiben und Plagiate zu finden. Die Anwendungsgebiete sind sehr vielfältig, aber am besten ist es einfach, den Betreiber zu befragen. Sistrix ist nicht gerade unbekannt und steht sicher gerne für Antworten zur Verfügung.

Gruß,
Torsten

Beitrag von **Malte Landwehr** » 04.12.2011, 21:23

Angeblich soll folgender Eintrag in der robots.txt helfen:

Code: Alles auswählen

User-agent&#58; sistrix 
Disallow&#58; /

edit:
Das Thema hatten wir 2009 schon mal: https://www.abakus-internet-marketing.d ... 79937.html

edit 2:
Nach Lektüre des Threads aus 2009 scheint meine erste Aussage bezüglich User-Agent und Robots.txt korrekt zu sein.

edit 3:
Auch damals war mwitte der 2. Antworter und hat nach Johannes gerufen.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **mwitte** » 05.12.2011, 06:13

Malte Landwehr hat geschrieben:edit 3:
Auch damals war mwitte der 2. Antworter und hat nach Johannes gerufen.

Stimmt

mwitte hat geschrieben:Schon mit einer Email an Johannes versucht?
Oft ist das Naheliegendste auch das Einfachste...

Beitrag von **speditionen** » 05.12.2011, 10:06

Hallo

Erst hat die Aussperrung gklappt, dann kamen Sie mit neuer IP und veränderten Namen wieder.
Ist wohl keine nachhaltige Abwehr möglich?

User-agent: sistrix
Disallow: /
-----
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* https://www.google.de [L,NC,QSA]
-----

Diese Angaben wurden überhaupt nicht beachtet

Grüße

Beitrag von **Thorny** » 05.12.2011, 11:30

Hast du Sistrix denn mal kontaktiert?

Für den Fall, dass das nicht klappt, was ich mir aber schwer vorstellen kann, kann man noch immer eine Abuse Nachricht an den jeweiligen Netzwerkbetreiber schicken.

Beitrag von **seorotiker** » 28.12.2011, 15:57

speditionen hat geschrieben:Hallo

Erst hat die Aussperrung gklappt, dann kamen Sie mit neuer IP und veränderten Namen wieder.
Ist wohl keine nachhaltige Abwehr möglich?

User-agent: sistrix
Disallow: /
-----
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* https://www.google.de [L,NC,QSA]
-----

Diese Angaben wurden überhaupt nicht beachtet

Grüße

Klingt nicht nach Johannes. Eher nach nem Chinesen-Bot, der sich als sistrix ausgibt. von irgend einem Zombie-Rechner. Daher auch die andere IP

Hier wurde das mit google auch schonmal beobachtet: https://www.forumpostersunion.com/showthread.php?t=2130

Und hier google´s antwort, um zumindest den googlebot zu verifizieren: https://googlewebmastercentral.blogspot ... lebot.html

Könnte man als Workaround auch für sistrix benutzen. und dann sistrix wieder erlauben.

Beitrag von **stzweio** » 28.12.2011, 18:21

jau, gerade vor 20 Minuten hat mich auch .cn-Bot (rs.hntelecom.net.cn) genervt und meine schönen Referer-SERP-Longtail Logs geflutet.
Bei sowas hilft am Besten die große Keule, serverweit:

iptables -I INPUT -s 218.77.120.135 -j DROP

Kommt leider alle paar Tage mal vor in großen Mengen ...

Beitrag von **seorotiker** » 29.12.2011, 02:10

stzweio hat geschrieben:jau, gerade vor 20 Minuten hat mich auch .cn-Bot (rs.hntelecom.net.cn) genervt und meine schönen Referer-SERP-Longtail Logs geflutet.
Bei sowas hilft am Besten die große Keule, serverweit:

iptables -I INPUT -s 218.77.120.135 -j DROP

Kommt leider alle paar Tage mal vor in großen Mengen ...

Ei sieschte mal...

Johannes wird wohl kaum durch son Mist den Unmut der Webmaster und Communitymanager auf sich ziehen wollen, denen er doch sein Produkt, die Suite vermietet. Insofern ist der Verdacht "Sistrix käme nach veränderter Useragent-ID einfach wieder" meines Erachtens von Anfang an schon Blödsinn. Außerdem veränderte IP? Bei sowas heult bei mir immer die Russen/Chinesen-Sirene.
Und das Herr Beus auf solche Mutmaßungen nicht hier reagiert, ist sein gutes Recht: Man muss nicht jeden Unfug kommentieren

Beitrag von **stzweio** » 29.12.2011, 08:44

seorotiker hat geschrieben:
stzweio hat geschrieben:Ei sieschte mal...
sieschte mal was? Der Threadersteller hat aber von nem Bot geschrieben der "Sistrix" im UA hatte, meiner war nur ein Beispiel.

Beitrag von **bfs** » 29.12.2011, 09:13

speditionen hat geschrieben: User-agent: sistrix
Disallow: /
-----
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* https://www.google.de [L,NC,QSA]
-----
Diese Angaben wurden überhaupt nicht beachtet

Wie soll sistrix deine robots.txt beachten, wenn du ihn gleich zu google schickst? So wird sein Crawler zwangsläufig nie erfahren, dass er deine Seite nicht spidern darf und folgerichtig weiterhin jeden Link verfolgen. (Grundlagenwissen)

Beitrag von **seorotiker** » 29.12.2011, 09:41

stzweio hat geschrieben:
Der Threadersteller hat aber von nem Bot geschrieben der "Sistrix" im UA hatte, meiner war nur ein Beispiel.

Ich glaube nicht dass es SISTRIX ist, der da crawlt. Denn sistrix bringt keine DB´s zum Absturz. aber Fakebots schon. Also beispielsweise "Sistrix" mit ner IP von t-online oder 1und1...

Beitrag von **stzweio** » 29.12.2011, 09:44

achso meinst du, ja das kann natürlich sein.
Der String "Sistrix" war ja auch nur im UA, welcher Hostname benutzt wurde hat er ja nicht geschrieben .... und Sistrix hat wohl schon nen eigenen Host(?)