Googlebot komplett aussperren

[Xire]

Wie kann ich für den Zeitraum von einigen Stunden komplett verhindern, dass Google-Bot Traffic verursacht ohne dass es negative Auswirkungen auf das Ranking gibt?

[Anonymous]

hmm.... server für ein paar Stunden nicht erreichbar macht nix... hat keine Auswirkung aufs ranking soweit ich beobachtet habe....

[Xire]

hmm.... server für ein paar Stunden nicht erreichbar macht nix... hat keine Auswirkung aufs ranking soweit ich beobachtet habe....

Danke erstmal.
Und wie gehe ich bei deinem Vorschlag konkret vor?
Die Seite soll ja weiterhin erreichbar sein, nur alle Bots sollen keinen Traffic verurschane

[Anonymous]

hmm.... das wird nicht so einfach... meine bisherigen Erfahrungen beruhen auf diverse downzeiten durch Wartungsarbeiten beim Hoster... aber mal sehen was möglich wäre...

robots.txt scheidet aus... könnte auswirkungen auf die serps haben... und eng gesehen würde durch den Aufruf der robots.txt ja auch schon Traffic entstehen...

hmm... über .htaccess aussperren wäre eine möglichkeit.... müsstest du dann eben genau wissen welche bots so vorbeischauen..... aber auch hier dürfte alleine der Verbindungsversuch ja schon ein wenig Traffic verursachen.... und im Grunde ist es technisch auch unterscheidbar, ob ein server jetzt down ist oder ein Zugriff einfach abgeblockt wird... wenn ein server nicht erreichbar ist bekommt der bot vom letzten Router die Mitteilung, dass der Server nicht erreichbar ist... gut.. wenn der verbindungsversuch auf port 80 bei einem bot einfach zurückgewiesen wird, könnte es so aussehen, dass der webserver nicht läuft...

perfekt wäre aber die Lösung wenn ein vorgeschalteter Router den bots mitteilen würde, dass der server nicht erreichbar ist.... dann würde auf dem server auch garkein Traffic durch bots ankommen.... aber ich denke das wirst du nicht einrichten lassen können, oder?

[Xire]

perfekt wäre aber die Lösung wenn ein vorgeschalteter Router den bots mitteilen würde, dass der server nicht erreichbar ist.... dann würde auf dem server auch garkein Traffic durch bots ankommen.... aber ich denke das wirst du nicht einrichten lassen können, oder?

Ein Load-Balancer steht zur Verfügung.
Wie verhält es sich mit dem Problem, dass die User-Agents vieler Bots getarnt sind?

[Anonymous]

wie gesagt... du musst schon genau wissen welche bots so kommen..... und die dann am besten direkt über ip bzw useragent blocken.... wenn ein bot sich aber weiterhin als normaler User ausgibt und über ne dynamische Ip kommt, wirste da nicht viel machen können....

[Xire]

hmm ok, wie sieht es mit einem Status-Header 503 Service Unavailable aus?

"Der Server kann die Anfrage wegen Überlastung nicht bearbeiten. Die angeforderten Daten können deshalb nicht gesendet werden. In der Statusmeldung kann stehen, wann die Anfrage frühestens wieder bearbeitet werden kann. Im Gegensatz zum Status-Code 202 verarbeitet der Server die Daten nicht, sobald er wieder Kapazitäten hat."

Wäre das eine Möglichkeit?

[Anonymous]

hmm... da wäre nur die Frage welche bots das verstehen?

[Xire]

das ist ein offizieller Status-Code, daher müsste das eigentlich funktionieren.
Vielleicht hat ja jemand Erfahrungen damit.

[crazyblogz]

htaccess mit passwortschutz, allerdinigs kommt dann niemand mehr rein

[JR-EWING]

Hier mal wie du Google identifizieren könntest

https://googlewebmastercentral.blogspot ... lebot.html

Notfalls kann du dir dazu mal die Spider Trap anschauen da ist das in functions.php implementiert....

[Anonymous]

das ist ein offizieller Status-Code, daher müsste das eigentlich funktionieren.
Vielleicht hat ja jemand Erfahrungen damit.

jo... ist offiziell... aber ob die bots die sich als User tarnen das dann auch verstehen.... oder ob der Googlebot sich merkt, dass er erst nach einer bestimmten Zeit wieder vorbeischauen soll...