Ebay schickt Millionen Anfragen und schießt Server ab

Beitrag von **Ice Man** » 31.03.2011, 14:57

wie wäre es mit IP per .htaccess erstmal sperren ?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **pimpi** » 31.03.2011, 14:58

Die Domain geht ja aktuell ins nirgends, sonst wäre das wirklich ein Supergau (auch für die anderen auf dem Server). Aber ist keine Dauerlösung und ob ein eigener Server das auf Dauer schafft...?

Beitrag von **Synonym** » 31.03.2011, 15:41

Ok, mal sowiel gesagt, ohne den INhalt der PN zu nenne. Die hier genannten Artkel sind keine Artikel auf dem Kundenserver, sondern Auktionen bei Ebay, die dem Kunden gehören. In diesen Auktionen werden mehrere Bilder vom Kundenserver eingebunden (aktuelles Beipiel aus der PM: 15 Bilder).

Bei Ebay gibt es zudem noch den Ebay-Shop mit etwas mehr als 150.000 Artikeln, die alle auf die gleiche Art die Bilder eingebunden haben.

Einen extra Shop (extra Domain) scheint es auch zu geben.

So, das mal zur Erklärung was hier denn nun eigentlich wo abgerufen / eingebunden wird.

Allerdings bin ich da dann nun doch verwundert. Wenn einer die Auktion ansieht, dann ruft der auch die Bilder mit ab. Müsste als die IP des Besuchers sein und nicht die von Ebay. Da würde ich mir nun auch die Frage stellen, was Ebay da denn genau macht.

Ansonsten finde ich das nun aber schon heftige Werte. 150.000 Artikel und das nicht gerade in einem "Nutzlos-Bereich". Da werden schon so einige Abrufe zustande kommen und da dann jedesmal die ca. 15 eingebundenen Bilder.

Die Vorschaubilder im Ebay-Shop (Vorschau in den Produklisten) kommen aber nicht vom Kundenserver, sondern von https://thumbs1.ebaystatic.com/ Kann es sein, dass die Bilder zwischendurch geupdatet werden, oder wurden die im Shop fix dam Artikel zugeordnet?

von **Anzeige von ABAKUS** »

Beitrag von **Synonym** » 31.03.2011, 15:44

Bilder, die als Vorschau in den Produklisten vorhanden sind fehlen allerdings auf der Auktionsseite (Hauptbild links oben). Eingebunden wird es aber. Da hier aber nun ein anderes Bild ist stellt sich auch die Frage nach dem warum... Entweder ist das nur ein Hintergrund, der immer da ist oder Ebay testet das Bild indem es direkt abgerufen wird. Wobei mich hier dann aber wieder wundert, dass das Hauptbild von einem anderen Server geladen wird und nicht vom ebay-eigenen ebayimg.com ... hm... sehr seltsam das alles...

Beitrag von **Synonym** » 31.03.2011, 16:17

Was sind das denn für Bilder, die am meisten abgerufen werden?

Sind das die im Ordner /produktbilder/ oder die um Ordner /images/ ??

Beitrag von **Synonym** » 31.03.2011, 16:56

Also bei Ebay selbst kann ich da beim besten Willen nichts feststellen. Die Zugriffe die Du als IP hast könnten vom Preloader stammen, aber die müsten ein Bruchteil der eigentlichen Zugriffe sein. Alle Bilder, CSS und sonstige Files werden vom Benutzer selbst abgerufen. Und bei 150.000 Artikeln a etwa 15 Files kann das schon problematisch werden.

Mal anders herum gefragt... Was heißt denn "Server lahmlegen"? Geht der Speicher aus? Gibt der Apache auf oder was?

Beitrag von **profo** » 31.03.2011, 17:06

pimpi hat geschrieben:Wir haben hier ein merkwürdiges Problem: Ebay stellt innerhalb kurzer Zeit enorme Abfragen. Das bewegt sich im Millionenbereich und legt so den kompletten Kundenserver lahm.

Evtl. spidert einfach ein dummer Spambot die Auktionen / den Shop des Kunden? Ich würde so oder so eBay Bescheid geben, dass da momentan gigantisch Last produziert wird und mal fragen, was los ist.

Beitrag von **chris21** » 31.03.2011, 17:09

Liefert ihr wenigstens vernünftige 304er?

Wie sehen die header zu den Bildern aus? Cachezeiten, ETags, Last-modified, etc.?

Beitrag von **profo** » 31.03.2011, 18:43

bennos hat geschrieben:Bei einer ordentlichen Konfig des Server kanst du doch 1000 Request pro Sekunde bewältgen, wenn es nur HTML oder Bilder sind.

Offtopic: nur der Neugierde halber, weil meine Server bei so einem Traffic wohl hoffnungslos abschmieren würden. Mit welchen Zahlen rechnest Du dabei? Wenn ich das mal überschlage komme ich bei 1000 Requests / s mit 20KB durchschnittlicher Dateigröße auf 160 MBit/s Nutzdatenvolumen (1000 * 20KB * 8 Bit/B /1000 = 160 MBit/s). Das macht doch schon allein die 100MBit Netzanbindung nicht mit, IO-Last noch ganz außen vor. Oder wo lieg ich da falsch?

Beitrag von **Synonym** » 01.04.2011, 09:50

@profo
Deine Rechnung stimmt soweit schon, geht aber davon aus, dass permanent 20KB pro File übertragen werden und eben permanent andere Files, die immer wieder ausgeliefert werden müssen. Sind da nur ein paar dabei, die kleiner sind oder eben gar nicht ausgeliefert werden müssen, da aus dem Cache möglich, so verändert sich die Rechnung enorm. Die Wahrscheinlichkeit, dass der Server richtig konfiguriert wurde und dennoch es immer "neue" Files sind und das 1000 / sek permanent ist mehr als gering.

Beitrag von o2 » 01.04.2011, 12:15

Mit welchem User-Agent tauchen die Zugriffe denn im Access-Log auf?