Google kann Seite nicht mehr crawlen!

Beitrag von **DRW** » 25.01.2012, 11:36

Folgendes Problem: Am Montag habe ich beim täglichen manuellen Ranking-Check bemerkt, dass alle meine Keyword verschwunden waren, darunter viele 1. Plätze. Im Index war ich jedoch weiterhin vertreten.

In den Webmaster Tools ist mir dann aufgefallen, dass der Google Bot seit dem 15.01. die Seite nicht mehr crawlen konnte. Bei einem manuellen "Abruf wie Googlebot" erhalte ich ständig die Fehlermeldung, dass die robots.txt fehlt, die jedoch auf alle Fälle vorhanden und problemlos abrufbar ist. Eine Nachfrage beim Provider, ob evtl. der Googlebot durch deren Firewall ausgesperrt worden ist, wurde verneint.

Nun stehe ich da und weiß keinen Rat mehr. Hat von Euch jemand nen Tipp, wie ich den Fehler beheben kann?

von **Anzeige von ABAKUS** »

Beitrag von **CyberNibbler** » 25.01.2012, 11:44

Hat laut den Webserverlogs auch kein Googlebot mehr seit dem 15. zugegriffen?

Beitrag von **DRW** » 25.01.2012, 12:49

Kein Zugriff mehr seit dem 17.01. gemäß Log

Beitrag von **Beloe007** » 25.01.2012, 12:51

Würde mal ins blaue tippen: Gehackt worden.

Ohne URL kann dir keiner helfen, es sei denn du willst Galgenmännchen spielen.

Beitrag von **DRW** » 25.01.2012, 12:55

www.fatburner1.com

Wußte nicht, ob man hier URLs posten darf

Beitrag von **Beloe007** » 25.01.2012, 13:17

Kann auf die Schnelle keinen Fehler sehen, auffällig ist das die Cacheversionen auch alle vor dem 15.1.2012 sind, aber keine Idee.

Beitrag von **DRW** » 25.01.2012, 13:23

Danke erstmal für die Schnellanalyse. Bin parallel hierzu auch fleißig am Googeln und bin hierbei auf folgenden Beitrag gestoßen:

https://blog.xantiva.de/archives/67-Net ... chbar.html

Habe meinen Hoster diesbezüglich seit gestern im Gebet, jedoch weist dieser jegliche Schuld von sich. Er hat mehrfach darauf hingewiesen, dass eine 80.000$ teure Juniper Firewall im Einsatz ist und dass die Techniker kein Problem feststellen konnten. Da es wohl öfter mal DDOS-Attacken auf die unterschiedlichen Server gibt, wurden IPs geblockt. Diese seien nach meiner Supportanfrage jedoch wieder vollständig freigegeben worden. Trotzdem kommt der Googlebot nicht auf meine Seite. Alle Versuche, die Seite über die Webmaster Tools auslesen zu lassen, scheitern mit dem Hinweis, dass die robots.txt nicht zu erreichen wäre. Hätte ich Haare, dann würde ich mir diese nun raufen

Beitrag von **Beloe007** » 25.01.2012, 13:32

https://translate.google.de/translate?s ... er1.com%2F

Also der Übersetzer läuft und die Seite sieht normal aus, also sollte es irgendwo mit den IPs zusammenhängen, vielleicht irgendeine XTcommerce Boteinstellung o.ä.

Oder aber es ist nur Zufall und die Zeit heilt die Wunden von selbst.

Beitrag von **Beloe007** » 25.01.2012, 13:35

Kannst ja mal kurz auf ein anderes Verzeichnis zeigen und da nur index.html anlegen (ohne htaccess usw.) und vom Bot crawlen (vorschau) lassen, wenn dann immernoch ein Fehler sein sollte liegt es vermutlich am Hoster. Ansonsten liegt es irgendwo in der Programmierung vermutlich. Bzw. es über eine Supdomain mit einer einfachen index.html versuchen.

Beitrag von **DRW** » 25.01.2012, 13:37

In der Programmierung sollte kein Fehler versteckt sein. In besagtem Zeitraum (nicht mal in der Nähe des besagten Zeitraums

) wurde nicht am Shop gebastelt, nicht mal ein neuer Artikel eingefügt. Gar nix. Das Problem trat von einem auf den anderen Tag auf.

Habe dem Bot bereits verschiedene Dateien und Verzeichnisse angeboten, endet alles mit demselben Ergebnis

Beitrag von **DRW** » 25.01.2012, 13:51

Ticke ich jetzt nicht richtig oder ist das nur Zufall? Ich habe mich vor ner Viertelstunde nochmal an den Support gewendet. Zugegeben, dass meine Seite für einen Shared Hosting Account vielleicht zu viel Last erzeugt (ist das so mit 700 Seiten?) und dass ich ohnehin schon damit geliebäugelt hätte, bei denen einen eigenen Server zu mieten... Fünf Minuten später kam eine Email, dass bei denen wirklich alles in Ordnung sei. Direkt danach habe ich nochmal versucht, die Seite auslesen zu lassen und siehe da, es funktioniert

Bin ich paranoid und ist das, was ich jetzt denke, korrekt, oder ist alles nur ein Zufall?

Beitrag von **Beloe007** » 25.01.2012, 13:53

Schon über eine Subdomain mit einfacher index.html versucht?

Also mein Tipp entweder gehackt worden, oder Hoster hat die IPs doch geblockt. Wie/Ob man das mit den IPs testen kann weiß ich nicht.

Also ich würde es mit der Subdomain und einfacher index.html + ohne htaccess testen, wenn Google dann ran kommt, kannst du zumindest den Hoster ausschließen.

Beitrag von **Lyk** » 25.01.2012, 13:54

du hast dc...

Beitrag von **Beloe007** » 25.01.2012, 13:55

DRW hat geschrieben:Ticke ich jetzt nicht richtig oder ist das nur Zufall? Ich habe mich vor ner Viertelstunde nochmal an den Support gewendet. Zugegeben, dass meine Seite für einen Shared Hosting Account vielleicht zu viel Last erzeugt (ist das so mit 700 Seiten?) und dass ich ohnehin schon damit geliebäugelt hätte, bei denen einen eigenen Server zu mieten... Fünf Minuten später kam eine Email, dass bei denen wirklich alles in Ordnung sei. Direkt danach habe ich nochmal versucht, die Seite auslesen zu lassen und siehe da, es funktioniert

Bin ich paranoid und ist das, was ich jetzt denke, korrekt, oder ist alles nur ein Zufall?

Ich würde vermuten die hatten die IP gesperrt und beim zweiten Mal hattest du jemanden mit Ahnung dran

700 Seiten Xtcommerce und ständiges crawlen kann schon Last erzeugen.

Beitrag von **DRW** » 25.01.2012, 14:15

Oder die wollten mich somit "sanft" zum eigenen Server hin dirigieren, da ich diesbezüglich auch schonmal bei denen in der Vergangenheit angefragt hatte...

Wie dem auch sei, es läuft wieder. Jetzt bin ich nur gespannt, wann ich wieder in den Suchergebnissen auftauche und was mich das dann im Endeffekt in Punkto Ranking gekostet hat...

Vielen Dank @Beloe für Deine Zeit