Google-Spiders eindämmen

Hi,...

so mal nee kleine "blöde" Frage von mir.
Ich habe einen kleinen Server gemietet auf dem meine Website läuft.
Heute früh hatte ich einen totalen Serverausfall...verursacht durch den Ansturm von Google-Spider...

Habt Ihr einen Tipp, wie man dies eingrenzen kann?
Sprich, dass es dadurch nicht wieder zum komplett Black-Out kommt...

Möchte aber eben auch nicht komplett die Spider verbannen....

Wer weiß Rat?

Gruß
Kay

Wenn der Google-Spider deinen Server lahm legt, dann läuft irgendetwas bei dir total falsch.

Wie hast du festgestellt, dass der Google-Bot die Ursache für deinen Serverausfall war?

...ja also in dem Fall natürlich auf alle Fälle den googlebot aussperren.... das pöse Tierchen... unheilbringendes und serverlahmlegendes Schadprogramm... also ich bin mir auch total sicher, dass es der googlebot war... echt schlimm... don´t be evil, und dann sowas...

Ich kenn mich mit Servern nicht aus... scheint ja (aufgrund der Reaktionen hier), dass sowas durch den Google-Bot eig. nicht passieren kann. Allerdings kannst du, um deine Frage zu beantworten, in den Google Webmaster Tools die Crawlgeschwindigkeit reduzieren.

Zu geil

Sag mal, hat dir dein host zu verklickern versucht das der Googlebot daran Schuld ist?
Ist das ein Reseller, oder hat der auch eigene Server?

Also wenn dir ein Host sowas erzählt, solltest du dir dringend einen anderen suchen.

Mit Google ist alles O.K. vermutlich nutzt Du aber ein CMS
das PHP und MySql nutzt und dein Admin hat es nicht
angepasst.

1. ) MySql tunen mit tuning-primer.sh und mysqltuner.pl
https://serversupportforum.de/forum/sql ... cript.html
2.) Alle Cache Möglichkeiten einschalten damit html Seiten ohne
DB Anfrage ausgeliefert werden
3.) Memcache (Object Cache) installieren.
https://memcached.org/
4.) eaccellerator für deinen Kernel compilieren
https://eaccelerator.net/

Das sind eigentlich die minimalen Handwerksschritte die ein Admin
macht bevor er ein CMS aufsetzt leider ist das im Zeitalter von
billig Hosting etwas aus der Mode.

So, was auch noch sein kann ist das parallel zu Google dich irgend
ein Bot mit Paketen beschießt die Du nicht siehst.
Deshalb Firewall - schon mal gehört?

5.) CFS DDos Firewall
https://www.anti-hack.net/viewtopic.php?f=9&t=34&drgn=2

6.) Modsecure (Abwehr von Injections e.t.c)
https://www.modsecurity.org/

Lesen, aneignen und mindestens Punkt 1,2 und 5 umsetzen.
Wem das zu kompliziert ist einen Admin anheuern. Auf keinen
Fall den von seinem unfähigen Hoster, wenn der ein System so
vermietet das es in den Zustand kommt wie vom Threaderöffner beschrieben.

Z.b.: Hushi oder Stradford
https://www.consult-n.de/server/huschi.html
https://www.xing.com/profile/Steven_Stratford

Ich schlage mich seit mehr als Zehn Jahren damit rum das wenn ich
beginne SEO für einen Kunden zu machen die IT Abteilung Amok
läuft weil sie es nicht gebacken bekommen wenn mal ein paar
crawler vorbei kommen. Die Unfähigkeit gerade in Deutschland bei
dem großen Hostern ist schier unglaublich und unermäßlich. Alleine
das ein Kunde in so eine Situation kommt, einfach unglaublich.

Auch die Ausrede wir installieren nur ein nacktes Debian - warum?
Man könnte doch zumindest die Security Pakete die Debian an
Board hat installieren. Statt dessen installieren 1&1, Hetzner und Co.
Betriebssysteme die beim ersten crawling (Wohlgemerkt Crawling nicht Angriff!) sich weg hängen.

Geb deinem Hoster mal die Liste die sollen dir ein Angebot machen
wenn Sie 1-6 abarbeiten ... die Antwort wird vermutlich eine Ausrede
sein ... sie können es nicht weil sie gar nicht das Qualifizierte Personal haben.

@Malte Landwehr
Bei moderatem Linkaufbau sehe ich das auch so.

Allerdings merkt man gutes SEO auch immer daran wenn die IT Abteilung
des Kunden anruft und sich bei der SEO Company beklagt.

Man sollte da für eine Gebührenpflichtige 0900 Nummer einrichten

Um dem gejammer aus dem Weg zu gehen wäre eine Cluster auf den
man die Kunden legen kann nicht schlecht so das man nach belieben
Server und Performance nachschieben kann.

Allerdings ergibt sich da auch eine Diskrepanz. Ist der Kunde auf
mehreren Amazonec2 merkt er das SEO sich auch deutlich in den
Traffic kosten niederschlägt.