Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Spiderabfragen beschleunigen

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Steffi
PostRank 7
PostRank 7
Beiträge: 524
Registriert: 06.12.2004, 03:43

Beitrag von Steffi » 11.01.2005, 13:20

Hallo,


google krault mal wieder den Server richtig durch ;-) Schön so.

Dabei ruft er so alle 20-bis 30 Sekunden eine Seite auf, wie ich gehört habe gibt es eine Anweisung für die robts.txt diese Zeit zu verlängern.

Nun meine Frage: Gibt es auch das Gegenteil, also Google zu sagen er kann ruhig alle 10 sekunden ne neue Seite lesen?

Dann wäre er schneller durch und ich muß nicht immer warten bis ich wieder an die Seiten ran kann....