Bots aus Versehen ausgesperrt - wann wieder im Cache?

[zweitaccount]

Liebe Forumleser,

Ihr müsst wahrscheinlich gleich mal herzhaft lachen: Auf meiner Internetseite wurden die Spider, Bots,... vom Oberadmin aus Versehen von allen Seiten ausgeschlossen. Dummerweise habe ich das erst nach einiger Zeit mitbekommen, erst einmal habe ich mich nur gewundert, dass die Seite in Google abschmiert.

Die zentrale Frage ist nun, wie lange Google ca. benötigt, um die Seite wieder zu cachen. Die Seite war vorher bei den Keywords unter den Top10.

Hintergrundinfos zur Seite: Die Seite ist nach dem Prinzip www.organisation.org/stadt/ aufgebaut. Die robots.txt lag im Hauptordner. Es scheint mir so, als habe der google bot täglich nach der robots.txt gesehen. Zumindest an zwei aufeinander folgenden Tagen als ich mich bei den Webmaster Tools angemeldet hatte.

Ich werde mich wohl in den nächsten Tagen noch mit der Frage beschäftigen, ob es nicht sinnvoll ist, von der Struktur www.organisation.org/stadt auf die Struktur stadt.organisaiton.org umzusteigen. Das wäre kein Problem, nur die Links würden auf die alte Domain verweisen. Würde aber dafür noch warten, bis die Seiten wieder im Cache sind.

Vielen Dank für Eure Antworten!

[big-timeless]

Liebe Forumleser,

Ihr müsst wahrscheinlich gleich mal herzhaft lachen:

Zumindest fett schmunzeln...

Ping Google an, mach ein paar neue Links und schwupp biste wieder im index und die crawlerei geht wieder los. Allerdings ist google etwas empfindlich bei solchen Sachen, vielleicht kommen sie erstmal nicht (eher unwahrscheinlich). Rechne nicht gleich mit den alten Positionen.

b-t

[Anonymous]

die Struktur würde ich nur ändern wenn es hierfür einen wirklichen Grund gibt, gut die alten Links könnte man per 301 auf die neue position weiterleiten, aber dadurch könnten die Links ein klein wenig von der Stärke einbüßen...

[smomarc]

Kurz einmal Adwords schalten, Google schaut sich die Seite an und das ist ja das was du willst. Kann man dannach direkt wieder abschalten, kostet also wenig bis gar nichts.

[zweitaccount]

9:37:
Um ein kleines Update zu geben: Die Sitemap ist bei Google angemeldet, der Bot hat auch bereits versucht, die Seiten zu crawlen, es folgt aber die Fehlermeldung, dass er durch die robots.txt ausgeschlossen sei. Das Problem ist wohl, dass der Bot auf eine alte robots.txt-Version im Cache zugreift, weil aktuell keine zu finden ist (404-Meldung). Werde den Oberadmin bitten, eine leere robots.txt hochzuladen.

18:00:
Ohne dass eine leere robots.txt hochgeladen wurde, haben die google-bots mittlerweile wohl gemerkt, dass keine mehr da ist und haben wenigstens vier Seiten in den Index aufgenommen (allerdings leider nicht die richtig wichtigen...). Für die Zukunft also einfach einen Tag Zeit lassen. Ich habe ja nun zwei Alternativen: a) Google noch einmal mit einer neuen Sitemap anpingen, damit die restlichen Seiten gefunden werden oder b) Tee trinken. Um Google nicht zu ärgern, werde ich wohl b) favorisieren.

[zweitaccount]

Warten lohnt sich. Mittlerweile sind einige Seiten wieder aus dem Cache abrufbar. Sehr interessant ist übrigens, dass die gecachten Versionen z.T. aus einer Zeit stammen, als den Bots das Cachen noch verboten war. Sprich: Google hat zwar gecacht, aber den Cache nicht online gestellt. Sehr interessant.

Des weiteren ist es so, dass offensichtlich nicht alle Seiten in den Index übernommen wurden. Dies liegt auch daran, dass die Hauptseite (meine Seite liegt in einem Unterordner) keine Sitemap pflegt. Wenn mir mal langweilig ist, werde ich das vielleicht ändern.