Spiderabfragen beschleunigen
Verfasst: 11.01.2005, 13:20
Hallo,
google krault mal wieder den Server richtig durch
Schön so.
Dabei ruft er so alle 20-bis 30 Sekunden eine Seite auf, wie ich gehört habe gibt es eine Anweisung für die robts.txt diese Zeit zu verlängern.
Nun meine Frage: Gibt es auch das Gegenteil, also Google zu sagen er kann ruhig alle 10 sekunden ne neue Seite lesen?
Dann wäre er schneller durch und ich muß nicht immer warten bis ich wieder an die Seiten ran kann....
google krault mal wieder den Server richtig durch
Schön so.Dabei ruft er so alle 20-bis 30 Sekunden eine Seite auf, wie ich gehört habe gibt es eine Anweisung für die robts.txt diese Zeit zu verlängern.
Nun meine Frage: Gibt es auch das Gegenteil, also Google zu sagen er kann ruhig alle 10 sekunden ne neue Seite lesen?
Dann wäre er schneller durch und ich muß nicht immer warten bis ich wieder an die Seiten ran kann....
