Google-Indizierung limitieren

Beitrag von **DJTonic** » 18.03.2005, 05:31

Hallo zusammen!
Gibt es eine Möglichkeit, die Anzahl der Seiten zu limitieren, die der googlebot täglich besucht?
Ich möchte google weder aussperren noch möchte ich ihm eine "Für heute bleibst Du draussen-Page" geben sondern nur erreichen dass er nach z.b. 15000 Seitenaufrufen 24 Stunden Pause macht.
Wäre echt super wenn mir da jemand helfen würde, denn wenn das in der Geschwindigkeit weitergeht zahle ich diesen Monat kräftig an Über-Traffic...

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **SISTRIX** » 18.03.2005, 09:58

So weit ich weiss unterstützt Google die Anweisung "crawl-delay:" in der robots.txt noch nicht. Bleibt Dir also nur Sperren oder Zahlen übrig.

Gruß Johannes

Beitrag von **besserwisser** » 18.03.2005, 12:07

Eine Möglichkeit trafic zu reduzieren ist conditionalget (->mal in diesem Forum suchen)

d. h. man muss das if-modified since Datum/Uhrzeit, das ggle mitsendet
überprüfen, ob es älter ist, als die Datei zuletzt geändert wurde und dann:
wenn nein 304 "nicht geändert" ausliefern,
das sollte den Traffic erheblich reduzieren.

Eine andere Möglichkeit um kurzfristig vorzubeugen wäre in der htaccess datei nur für gglebot 304 "nicht geändert" auszuliefern.

Grüße
(Ich selbst habe auch noch nicht wirklich Erfahrung damit, jedoch "bereite ich so eine Lösung vor"

)

Grüße

Beitrag von **DJTonic** » 18.03.2005, 17:26

crawl delay wäre in der Tat die Lösung für mein Problem.

@besserwisser: das hilft mir nicht, da die meisten meiner Seiten noch nicht indiziert sind. für eine re-indizierung ist das aber ein interessanter ansatz.
Eine andere möglichkeit wäre, über sleep die ausgabe der datei zu verzögern, da ist aber die frage, wie lange google wartet bis er abbricht...