der Googlebot dürfte bei allen ja ein gern gesehener Gast sein
Beim Deepcrawl schnappt der Bot sich ja viele Seiten de facto "auf einen Schlag", was sich ja bei Foren, CMS etc. negativ auf den Serverload und damit die Responsezeit auf die Googlebot-Anfragen auswirken kann.
Eben nicht schlimm, aber dauert eben einfach länger, bis Seiten geladen sind.
Frage: Kann es denn passieren, dass der Bot wegen den langen Antwortzeiten irgendwann "keinen Bock mehr hat", d.h. abbricht und weniger Seiten spidert, als er ursprünglich wollte?
In dem Fall wäre dann ja praktischer, bei Foren nicht mit mod_rewrite zu arbeiten, sondern z.B. echten html-Seiten.
Was meint Ihr? Ist dieses Szenario denkbar aus ausgeschlossen?
