ABAKUS

Anzeige läuft. Ihr habt mir meinen Shop lahmgelegt.

Gegen deinen Hoster, weil er dir einen C64 als Server aufgesetzt hat? Oder gegen die Macher von Magento bzw. xtCommerce, weil die so ein "ressourcenschonendes" System gebastelt haben?

Ich möchte hierzu kurz anmerken, dass wir immer erst warten, bis eine Seite komplett geladen ist und erst danach die nächste Seite abrufen. Auch werten wir die Antwortzeiten jedes Requests aus - sollten die stark ansteigen, reduzieren wir die Crawlrate automatisch oder stoppen den Crawl dieser Domain sogar komplett.

Hallo Johannes,

ich habe die Antwort leider eben erst gesehen, daher erst jetzt eine Antwort. Der Spider war noch einige Tage lang unterwegs, aber es gab keine Ausfälle mehr. Was jetzt gerade ist weiß ich gar nicht. Allerdings kann ich das mit der Auswertung gar nicht wirklich glauben. 3-6 Zugriffe pro Sekunde (gleiche IP) auf Seiten, die definitiv nicht so schnell laden können. 1-3 pro Sek wäre denkbar, aber bei 6 pro Sekunde, das wäre neuer Geschwindigkeitsrekord meines Servers. Ist ja auch nicht so, dass der da alleine unterwegs war, der normale Traffik war ja auch drauf.

Und warum ich das "Auswerten" auch nicht glauben kann: Es geht ja wohl über den Statuscode, den die Seite sendet, oder? Also sollte man doch auch einen Fehler 404 beachten bzw. eben wie bei mir einen "503 Service Temporarily Unavailable". Das hat den Bot aber so gar nicht interessiert, der machte da schön schnell weiter. Bezüglich den Antwortzeiten kann ich nichts mehr sagen, aber müssten extrem schlecht gewesen sein (vor dem Absturz), denn knapp 99% CPU Last und Load-Werte jenseits 10.0 sind sicherlich nicht sonderlich schnell.

Aber wie gesagt, aktuell gibt es wieder keine Probleme. Wenn es wieder welche geben sollte, dann schreibe ich direkt eine PM.

Gruß, Ingo

Robottxt wird ignoriert.
3-6 Zugriffe kann ich bestätigen.

Ingo, die Auswertung läuft nicht über den Statuscode der Seite, sondern über die Antwortgeschwindigkeit. Wir messen also, wie lange es dauert, bis die ersten Bytes von Deinem Server geliefert werden und wie lange es insgesamt gedauert hat, die komplette Seite zu laden. Wenn diese beiden Zeiten entweder stark zunehmen oder absolut über gewissen Grenzwerten liegen, fahren wir den Crawldurchlauf für Deine Seite zurück oder stellen ihn ganz ein.

Shredder, wir halten uns an die RFC-Vorschläge zur Robots.txt. Wenn Du mir Deine Domain nennst (gerne auch per PM), schauen wir uns gerne genauer an, ob da etwas schief gelaufen ist.

Gruß,
Johannes

Ingo, die Auswertung läuft nicht über den Statuscode der Seite, sondern über die Antwortgeschwindigkeit. Wir messen also, wie lange es dauert, bis die ersten Bytes von Deinem Server geliefert werden und wie lange es insgesamt gedauert hat, die komplette Seite zu laden. Wenn diese beiden Zeiten entweder stark zunehmen oder absolut über gewissen Grenzwerten liegen, fahren wir den Crawldurchlauf für Deine Seite zurück oder stellen ihn ganz ein.

Ja das ist aber nicht gut - sorry, wenn ich das so sage. Ihr werdet ja mit den Daten wohl irgendetwas machen, also sollten die ja auch passen, oder? Was macht Ihr denn dann, wenn es eine Seite gar nicht gibt - Fehler 404? In meinem Fall gab es die Seiten alle. Die mussten eigentlich immer langsamer werden, den die Serverlast stieg enorm. Ich habe es ja auch gesehen auf dem Server. Da war der eine Request noch nicht mal fertig, standen schon zwei drei andere in der Warteschleife.

Wenn Ihr den Status aber nicht auswertet, dann kam hier nun ein ganz dummer Fall dazu. Mein Server ging auf 503. In dem Fall wird nur noch ein kurzer Hinweis ausgeliefert. Keine Funktionen / Scripte mehr, keine DB, nichts dynamisches. Das bedeutet aber, dass dann die Auslieferung sehr schnell geworden sein müsste, da ja quasi "fast keine" Daten gesendet werden müssen (nur 1024 Zeichen). Ihr empfangt dann also eine Seite, die Inhaltlich nichts hat außer die Meldung, die müsste extrem schnell sein und der Spider dementsprechend die Geschwindigkeit eventuell sogar noch erhöhen.

Mein Server geht dann wieder mal online und versucht es wieder. Tat er mehrfach. Das dauerte dann jeweils 10-20 Requests und er ging sofort wieder auf 503.

So ging das Spiel dann über Stunden, bis ich die Prozesse identifiziert und die entsprechenden Apache-Prozesse gekillt hatte. Dauerte dann aber auch nur wenige Sekunden und die waren wieder am Anschlag - und die bearbeiteten nur euren Spider. Allerdings war das danach denn nur ein Prozess und nicht mehr drei. Den habe ich dann laufen lassen.

Gruß, Ingo

SISTRIX hat geschrieben:Ingo, die Auswertung läuft nicht über den Statuscode der Seite, sondern über die Antwortgeschwindigkeit. Wir messen also, wie lange es dauert, bis die ersten Bytes von Deinem Server geliefert werden und wie lange es insgesamt gedauert hat, die komplette Seite zu laden. Wenn diese beiden Zeiten entweder stark zunehmen oder absolut über gewissen Grenzwerten liegen, fahren wir den Crawldurchlauf für Deine Seite zurück oder stellen ihn ganz ein.

Shredder, wir halten uns an die RFC-Vorschläge zur Robots.txt. Wenn Du mir Deine Domain nennst (gerne auch per PM), schauen wir uns gerne genauer an, ob da etwas schief gelaufen ist.

Gruß,
Johannes

Ihr bei SISTRIX habt einen veritablen Schaden und all eure IP's werden jetzt mal schön von gebannt bei mir.
Meinen Server zu bombardieren mit Anfragen im 2 sek. Takt - sag mal hackts bei euch? Meint ihr der Traffic ist heutzutage vollkommen umsonst oder wie. Irre was sich manche Firmen einbilden.

Ihr seid eine Spambombe, mehr nicht.

SISTRIX hat geschrieben:Ingo, die Auswertung läuft nicht über den Statuscode der Seite, sondern über die Antwortgeschwindigkeit. Wir messen also, wie lange es dauert,

Was für ein Kappes.
Es soll Maschinen geben, auf denen mehr als eine Domain gehostet wird und wenn da gleich mehrere Domains auf einer Maschine gleichzeitig beglückt werden, dann wird es eng- zumal das ja nicht die einzigen Datensammler sind, die abgreifen als gäb's kein Morgen. Und meine Erfahrungen mit den Datensammlern sind dergestalt, daß da niemand "wartet": es wird vielmehr brutalstmöglich durchgezogen.
Insbesondere dann, wenn viele WP-Domains auf einer Maschine vorhanden sind geht das stark in Richtung DOS-Attacke, zumal die meisten diesen Kram nicht brauchen oder wollen.
Ich kann nur empfehlen, die Blöcke komplett zuzumachen, insbesondere alles aus dem Hetzner-Netzwerk.
Von da kommen nur Sauger ohne jeden Nutzen.

Meint Ihr nicht, dass der Sistrix Support da der richtige Ansprechpartner wäre?!

Ziemlich schräge Ansicht für einen Moderator, in dessen Forum sich Leute über Fragen des Internet austauschen und auf Fehlentwicklungen hinweisen.
Konsequenterweise machst Du das Forum am besten dicht und stellst nur noch die eMail-Adressen des Supports von Google, Amazon etc. hier ein.
Ach ja, und von Sistrix, natürlich.
Die ändern dann auf Anfrage sofort ihre Praxis, wie man ja seit deren Posting aus 2011 unschwer sehen kann...