Kann ich ähnlich bestätigen.baynado hat geschrieben:Na ich hab beobachtet, sobald ich eine Sitemap wieder neu einreiche kommt der GBot vorbei und schaut mal nach. Und das möchte doch Klausi.
Spider kam 18 Stunden nach Aufsetzen einer neuen Domain, geht bereits in die Tiefe indem er der Sitemap stoisch folgt. Braver Bot.
Verhalten: es wird sekündlich eine Seite eingelesen, nach 40-50 Zugriffen ist für 30-60 Minuten wieder Schluß.
Interessanterweise kam der Bot nach Verlinkung nicht von statischen sondern dynamischen Seiten, was pour moi heißt, daß es jetzt noch zügiger geht als früher...
Wie schön. Tätscheltätschel.
