ABAKUS

So weit ich weiss unterstützt Google die Anweisung "crawl-delay:" in der robots.txt noch nicht. Bleibt Dir also nur Sperren oder Zahlen übrig.

Gruß Johannes

Eine Möglichkeit trafic zu reduzieren ist conditionalget (->mal in diesem Forum suchen)

d. h. man muss das if-modified since Datum/Uhrzeit, das ggle mitsendet
überprüfen, ob es älter ist, als die Datei zuletzt geändert wurde und dann:
wenn nein 304 "nicht geändert" ausliefern,
das sollte den Traffic erheblich reduzieren.

Eine andere Möglichkeit um kurzfristig vorzubeugen wäre in der htaccess datei nur für gglebot 304 "nicht geändert" auszuliefern.

Grüße
(Ich selbst habe auch noch nicht wirklich Erfahrung damit, jedoch "bereite ich so eine Lösung vor" )

Grüße

crawl delay wäre in der Tat die Lösung für mein Problem.

@besserwisser: das hilft mir nicht, da die meisten meiner Seiten noch nicht indiziert sind. für eine re-indizierung ist das aber ein interessanter ansatz.
Eine andere möglichkeit wäre, über sleep die ausgabe der datei zu verzögern, da ist aber die frage, wie lange google wartet bis er abbricht...