Ebay schickt Millionen Anfragen und schießt Server ab

Beitrag von **pimpi** » 30.03.2011, 08:56

Hi alle!

Wir haben hier ein merkwürdiges Problem: Ebay stellt innerhalb kurzer Zeit enorme Abfragen. Das bewegt sich im Millionenbereich und legt so den kompletten Kundenserver lahm. Den entsprechenden Account haben wir deaktiviert. Nur...WARUM machen die das? Es handelt sich um einen Shop wo immer die Billder eingelesen werden. Nur jenseits von gut und böse. Ist jemand ähnliches bekannt? Fährt Ebay zuletzt DDOS Attacken?

grüße

von **Anzeige von ABAKUS** »

Beitrag von **Tequito** » 31.03.2011, 11:00

Du meinst du hast Bilder die von eBay aus aufgerufen werden? Sind die evtl. von einem Massenprodukt das viele Verkäufer einstellen und das viele Gebotsaufrufe erzeugt?

Beitrag von **pimpi** » 31.03.2011, 11:12

Also es sind schon sehr viele Produkte (120.000), wo in jedem Produkt ca. 6-10 Bilder aufgerufen werden. Somit kommt ein ordentliches Sümmchen zusammen. Nur werden wohl nicht gleichzeitig alle Artikel aufgerufen oder gespidert?

Was gibt es denn für eine Alternative? Unter der Last geht doch fast jeder (bezahlbare) Server in die Knie oder?

von **Anzeige von ABAKUS** »

Beitrag von **Synonym** » 31.03.2011, 11:19

Ich verstehe noch nicht wirklich was Du eigentlich meinst?

Spidert Ebay Deine Webseite ??

Greift Ebay auf Bilder von Dir zu, weil die irgendwo in Auktionen verwendet werden ??

Oder was??

Wenn es Bilder sind, dann weißt Du doch auch welche und auch, von wo die eingebunden wurden.

Verstehe es noch immer nicht nicht

Beitrag von **pimpi** » 31.03.2011, 11:35

Synonym hat geschrieben: Greift Ebay auf Bilder von Dir zu, weil die irgendwo in Auktionen verwendet werden ??

Exakt! Die Bilder liegen auf dem Kundenserver und Ebay holt sich von dort Bilder. Nur sind das halt so viele Anfragen, daß der Server dabei gnadenlos in die Knie geht.

Beitrag von **Synonym** » 31.03.2011, 11:47

Exakt! Die Bilder liegen auf dem Kundenserver und Ebay holt sich von dort Bilder. Nur sind das halt so viele Anfragen, daß der Server dabei gnadenlos in die Knie geht.

ok, schon mal etwas weiter.....

Nun die nächsten Punkte....

Holt sich Ebay die Bilder wirklich ???

Oder werden die nur in irgendwelchen Auktionen eingebunden vom Verkäufer ??

erstes... Unterlässung an Ebay senden

zweites... Ersatzgrafiken ausliefern oder Zugriffe verweigern oder an das Ebay-Team wenden und genau den Sachverhalt klarstellen. Die entsprechende Auktion(en) ist/sind dann ganz schnell weg.

Wobei ich das dennoch nicht wirklich verstehe. Wenn das Bilder in Auktionen sind, dann müssen das sehr viele Auktionen mit sehr vielen Zugriffen sein, oder der Server hat Probleme mit ein paar Bildern.

Schreib doch mal welches Bild oder besser, welche Auktion

Beitrag von **bennos** » 31.03.2011, 12:16

Wie viele Anfragen sind es denn???

Bei einer ordentlichen Konfig des Server kanst du doch 1000 Request pro Sekunde bewältgen, wenn es nur HTML oder Bilder sind.

Wenn es mehr sind dann setzt du das Proxy Modul ein oder setzte einen VArnish davor. Dann kann du so 3000 Request pro Sekunde mit dem Server abwickelt.

Beitrag von **Synonym** » 31.03.2011, 12:27

er hat doch oben geschrieben:

Das bewegt sich im Millionenbereich und legt so den kompletten Kundenserver lahm.

Beitrag von **pimpi** » 31.03.2011, 14:14

Ja Ebay holt sich die Bilder, wir haben uns die Server Logfiles angeschaut und dort kommen die Abfragen immer von 2-3 IPs die von ebay sind. Viel ist es schon, also rund 120.000 - 150.000 Artikel und dort sind in jedem nochmal neben dem Artikelbild links oben im Content 5-10 Bilder im Schnitt. Kann sich ja jeder selber ausrechnen

Nur was tun? Klar, die Bilder werden so eingebunden und in der Auktion hochgeladen. Nur hat da Ebay wohl den Rappel und geht eben diese Auktionen durch, was zuviele Anfragen verursacht.

Beitrag von **Synonym** » 31.03.2011, 14:23

Sag mal... Bin ich heute komplett durch den Wind oder verstehe ich das nun schon wieder nicht.... ?!

1. Bilder werden abgerufen

Ja Ebay holt sich die Bilder, wir haben uns die Server Logfiles angeschaut und dort kommen die Abfragen immer von 2-3 IPs die von ebay sind.

2. Der Abruf ist durch Ebay direkt - könnte auch deren Proxy sein

Viel ist es schon, also rund 120.000 - 150.000 Artikel und dort sind in jedem nochmal neben dem Artikelbild links oben im Content 5-10 Bilder im Schnitt

3. jetzt redest Du auf einmal von Artikel und nicht mehr von Bildern. Wenn ein Bild abgerufen wird, dann ist das ein Bild, mehr nicht. Wenn ein Artikel abgerufen wird, dann ist das ein Artikel samt seinen Inhalten, aber kein Bild direkt.

Klar, die Bilder werden so eingebunden und in der Auktion hochgeladen

4. Jetzt sind es wieder Bilder.... Wenn Bilder eingebunden sind in den Auktionen, dann werden auch nur die Bilder abgerufen, die eingebunden sind. Warum sollte der ganze Artikel abgerufen werden? Woher sollte Ebay den denn überhaupt kennen?

Nur hat da Ebay wohl den Rappel und geht eben diese Auktionen durch, was zuviele Anfragen verursacht.

Die spidern bestimmt nicht ihre eigenen Seiten, so doof können die gar nicht sein

Beitrag von **gerd_w** » 31.03.2011, 14:28

Synonym hat geschrieben:Die spidern bestimmt nicht ihre eigenen Seiten, so doof können die gar nicht sein

Denen ist alles zuzutrauen, und im Moment scheint dort sowieso mal wieder "Bastelstunde" zu sein, einige Funktionen der Ebay Oberfläche funktionieren gerade nur wenn man Glück hat!

Beitrag von **Synonym** » 31.03.2011, 14:33

Also denen ist wirklich viel zuzutrauen, aber das nicht.... Die müssten dann ja permanent ihre eigenen Seiten spidern, wenn den immer zufällig alle betroffenen Auktionen von pimpi mit dabei sind. Und wenn da schon die paar (Anzahl unbekannt) Auktionen den Kundenserver lahmlegen, dann wäre wohl das halbe internet gestört, wenn Ebay seine x-Millionen Artikel permanent spidern würde. Nee, ich glaube vieles, aber das nicht

Beitrag von **pimpi** » 31.03.2011, 14:43

Aber warum nicht? Da kommen von verschiedenen IPs Anfragen, die wahrscheinlich nicht redundant gespeichert werden, sondern halt immer wieder Anfragen stellen (+normale Kundenaufrufe + Suchmaschinen Spider). Als Kunde merkt man nicht, auf welchem Server man unter www.ebay.de/produktXY rauskommt, aber die einzelnen Server wollen ja trotzdem Bilder und eben so summiert sich das enorm. FALLS Ebay so arbeitet. Nur wie ließe sich das umgehen? 30.000 Artikel auf Server A, 30.000 Artikel auf Server B...? Das wären ja dann trotzdem 30.000 x ~10 Bilder x 3 (oder nochmehr IPs von Ebay).

Beitrag von **Synonym** » 31.03.2011, 14:52

Und da ist der Knackpunkt den ich bestreite oder zumindest nicht glauben kann.

Wenn nur Bilder eingebunden sind.... Dann wäre der Abruf vom Benutzer und nicht von Ebay, denn Ebay ruft die ja nicht vorab schon ab und bindet die dann selbst ein....

Das selbst einbinden machen die nur mit den offiziellen Bildern, für die man auch bezahlen muss. Die laufen dann über deren CDN auf ebayimg.com. Aber die werden dann nicht permanet von anderen Servern geladen, würde ja auch den Sinn der Sache vernichten.

Welche IPs sind das denn? Und warum redest Du einmal von einem Bild (pro Request) und dann von Artikeln mit mehreren Bildern? Dann müsste Ebay ja bei Dir ganze Webseiten abrufen... Nee, das machen die auch nicht.

Beitrag von **pimpi** » 31.03.2011, 14:55

Vielleicht etwas wirr umschrieben von mir. Die Bilder sind eben nicht bei Ebay eingebunden, sondern liegen auf dem Kundenserver (auch das erste Produktbild IN einem Produkt, NICHT in der Kategorieansicht). Ich schick dir gleich mal ne PN