Wieviel Geduld hat der Googlebot?

Ich bin vor einigen Wochen wegen Betriebseinstellung notgedrungen mit einem Forum zu einer anderen Firma umgezogen. Dort gab es dann wider Erwarten zum Teil massive Wartezeiten mit Datenbankaufrufen. Seitenaufrufe können schon mal 10 oder 20 Sekunden dauern, die konkrete Wartezeit schwankt erheblich. Das Problem tritt nicht dauerhaft sondern sporadisch auf.

Der Googlebot hat seine Frequentierung nach dem Umzug zunächst beibehalten, sich dann aber nach Auftreten der schwankenden Wartezeiten immer mehr zurückgehalten.

Frage also: Inwieweit beeinflussen die Wartezeiten den Bot? Schrecken sie ihn ab wie die menschlichen Mitglieder des Forums?

Nö. Wenn er immer mal wieder "alles zu Gesicht bekommt", sollte das kein schweres Problem sein. Oder hast Du im Forum brandaktuelle Themen, die am nächsten Tag schon im Index stehen müssen?

Ich würde mir auch mehr Sorgen um Deine menschlichen Besucher machen.

Um die sorge ich mich auch und habe schon die Konsequenz gezogen - ein weiterer Umzug scheint ja leider unvermeidlich, nachdem ein Hinweis an die Firma nicht wirklich Fortschritt gebracht hat

Die Themen müssen nicht gleich am nächsten Tag im Index stehen, mit der Aktualität bin ich eigentlich bisher zufrieden. Angesichts zeitweiser Inhalte ist mir eine kleine Verzögerung manchmal sogar recht

Mir gibt es allerdings zu denken, daß die Bot-Frequenz in dieser Zeit Stück um Stück um etwa zwei Drittel geschrumpft ist. Technisch bin ich nicht so firm, um zu beurteilen, ob und wie Serververhalten den Bot beeinflußt.

Ja. Ist besser mit dem Umzug. Und bis dahin wird Dir sicherlich nichts zustoßen. Kannst ja mal schreiben, ob der Bot danach wieder öfter kommt.

@jr: 1blu?

Sorry, daß die Antwort so lange gedauert hat.

Ich habe meine Sachen bei mehreren Firmen untergebracht, Risikostreuung gewissermaßen. Mit 1blu bin ich bisher zufrieden, habe die Firma bisher aber auch noch nicht strapaziert.

In den Problemfall war eine andere große Firma involviert. Nachdem die Wartezeiten kurz vor Weihnachten zunehmend in Stillstand übergingen, habe ich den Umzug auf eine andere Adresse vorgenommen und mod_rewrite 302 eingesetzt. Die Domain selbst ist erst jetzt hinterhergewandert, so daß die Erkenntnisse vielleicht nicht auf einen korrekten Umzug zu übertragen sind.

Die Wartezeiten auf dem neuen Server sind erstklassig. Die menschlichen Besucher sind begeistert, und der Googlebot offensichtlich auch. Die Frequentierung liegt schon nach kurzer Zeit wieder auf beständig hohem Niveau, die Besucher über Suchbegriffe sind ebenfalls wieder deutlich mehr geworden.

In Kürze wird die 302 wieder rauskommen, dann wird sich zeigen, ob auch das Einfluß hat.

Auf die Ausgangsfrage habe ich hier allerdings noch keine Antwort gesehen. Spätestens wenn der Bot nach immer länger werdenden Wartezeiten zunehmend auch auf Verbindungsabbrüche zur Datenbank stößt, sollte man doch wohl davon ausgehen, daß das kein erfreuliches Ergebnis ist und sich in Frequenz und eventuell Ranking bemerkbar macht. Der Suchmaschinenbetreiber darf doch gerne davon ausgehen, daß eine schlecht erreichbare Seite, und sei sie noch so aktuell und relevant, auch das Interesse der Besucher verliert. Oder irre ich?