Round Robin - bei Google bekannt und somit ok?

Beitrag von **bonneville** » 13.11.2005, 23:39

Hallo Leute,

im Zuge einer Abstrafung von -75% im Traffic seit vorigen Sonntag untersucht man ja sehr penibel seine Seite.
Dabei fiel uns auf, dass der Googlebot2.1 nur von Server 2 und 3 Seiten zieht.
Wir haben Server1, 2 und 3 unter verschiedenen IPs (gleiches Class C Netz) per Round Robin DNS unter unserer gemeinsamen Domain im Netz.
Nun stellt sich die Frage: Ist das für Google ein Problem, dass der Content unter 3 IPs aber einer Domain (die URLs sind ja identisch) erreichbar ist?

Weitere sich ergebende Fragen: Zur Zeit senden wir bei
https://123.123.123.123 (also IP) einen Error 410
bei https://123.123.123.123/Seite.html auch. Sollten wir lieber einen 301 an die Domain einrichten?:
https://123.123.123.123 [301]-> https://www.meinedomain.de ?

Wenn ein Bot die DNS Auflösung cached, und danach nur nach der IP fragt, bekommt er ja nen 410. Wie löst ihr das?

Gruß und Danke für Eure Antworten!

Bonneville

von **Anzeige von ABAKUS** »

Beitrag von **linux** » 14.11.2005, 00:32

@bonneville

ich kann nur sagen daß google das kapieren sollte, da ich es aber nicht weß habe ich micht bei einem neuen projekt für was anderes entschieden ich werde bald für ein download portal aufsetzten, wobei ich mich entschieden habe einen webserver vorne zu lassen und per robin dann den download von verschienen server zu starten, so kann ich dann mehrere 100 mbit leitungen nutzen. das einzige was ich sagen kann ist daß google den redirect mim nameserver cname kapiert. mal ne doofe frage warum 3 server, hast du soviel last denn ein normaler server hällt ca 100.000 uv pro tag aus.

p.s

https://www.webmasterworld.com/forum10/8122.htm

da steht die haben keine probleme, ich meine google nutzt es ja selber!!

gruß

linux

Beitrag von **SloMo** » 14.11.2005, 07:56

bonneville hat geschrieben:Weitere sich ergebende Fragen: Zur Zeit senden wir bei
https://123.123.123.123 (also IP) einen Error 410
bei https://123.123.123.123/Seite.html auch. Sollten wir lieber einen 301 an die Domain einrichten?:
https://123.123.123.123 [301]-> https://www.meinedomain.de ?

Im GET-Header gibt es ein Feld "Host". Wenn darin Deine Domain steht, solltest Du entweder weiterleiten, oder den Inhalt direkt ausgeben.

Allerdings kann ich mir nicht vorstellen, dass es daran liegt. Google wird in dieser Hinsicht sehr Fehlertolerant sein, weil es "da draußen" viele seltsame Server gibt. Lastverteilung sollte kein Problem sein.

Wie viele unterschiedliche Domains liegen denn auf den Servern?

Gruß, SloMo

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **lool** » 14.11.2005, 09:06

bonneville hat geschrieben:Hallo Leute,
im Zuge einer Abstrafung von -75% im Traffic seit vorigen Sonntag untersucht man ja sehr penibel seine Seite.

Hallo!
Ich würde mich erstmal hier im Forum umsehen, und Tee trinken

Das ist der Standardspruch seit Jagger 3. Das Update ist immer noch nicht durch. An Analysen würde ich mich erst machen, wenn's soweit ist..

Ich hab genau das selbe Problem, auch wenn meine Seite nur auf einem Server liegt. Also keine voreiligen Schlüsse ziehen und weiter Tee trinken.
(Ich hab schon einen Wasserbauch)

Gruß, Thomas

Beitrag von **bonneville** » 14.11.2005, 11:20

Hi,

@linux: Deine Variante erscheint mir ein wenig eleganter: Alle http-Requests mit einer konstanten IP annehmen und verarbeiten und dann nur die downloads verteilen. Geht bei mir nicht, weil ich nur http-Anfragen beantworten muss.
3 Server, weil es wirklich in guten alten Zeiten (tm) bis an die 220.000 Abrufe kam (inkl. Bots). Allein der Yahoo- Slurp zeiht meist >100.000 Seiten am Tag.

@SloMo: Danke, werd das mal umsetzen. Hast aber recht: Fehlertolerant scheint Google zu sein. Wir suchen nur eben den Grund dafür, warum der GoogleBot 2.1 nur noch 1.000 Seiten, nicht mehr ca. 10.000 Seiten pro Tag zieht.

@lool: Ja, Tee hilft, aber selbst das von Matt titulierte Jagger3 DC sieht nicht sooo mörderisch genial aus. Komisch ist: bei vielen Keys sind wir unter den Top10, trotzdem fehlt haufen Traffic. Haben die was bei der Handhabung der Supplementals geändert? Wenn ja, was?

Gruß und Danke für eure Antworten,

Bonneville

Beitrag von **linux** » 14.11.2005, 14:01

@bonneville

sag mal sind das win... kisten, denn mein rekord liegt bei ca. 500.000 aufrufen von googlebot(der war gefangen) und yahoo und allem an einem tag, ok der server war bei 90% aber mit HT technik war das kein problem auch die mysql hat gehalten.
wie wärs mim load balancer?

gruß

linux

Beitrag von **bonneville** » 14.11.2005, 16:14

@linux:

Nee, das sind LAMP Kisten - so wie sichs gehört

Ich geb zu, die schaffen mehr, allerdings sollte man eine Last von >85% nicht als "Normal" kalkulieren. Die schaffen so "wenig", weil die für Webserver recht hohe CPU-Last haben, weil der Content recht anspruchsvoll zusammenzubauen ist.
Wir arbeiten dran, die Last wieder ein bisschen zu senken.

Load Balancer ist bis jetzt bei Überlegungen immer als "zu teuer" nicht detaillierter in Auge gefasst worden. Außerdem müsste man da ernsthaft grundlegende Topologien ändern, was ja mit Freund Google meist Harakiri ist...
Angenommen, man benutzt eine Linux-Kiste mit Vollausstattung von der Stange, z.B. von Host Europe sagen wir mal, was würde so einer mit purem Load-Balancing am tag "verdauen"?
Bei > 400.000 Requests wärs ne Überlegung wert. Allerdings sind das dann mittags 400.000 Stck / 80.000 Sek. *2 (wegen mittags) = 10-15 Requests annehmen _und_ ausliefern pro Sek.
Wenn die Kiste mit 100MBit/s am Netz hängt, jeder Request I/O von ca. 50kB up and down beinhaltet wirds mit der Anbindung bisschen dünn, oder?

Gruß Bonneville