Google verursacht extrem viel Traffic

[Morgenstern]

Geschätzte Community

Ich habe festgestellt, dass google bei uns extrem viel Traffic (über 30 GB) verursacht. Fast die Hälfte der Anfragen stammt von IPs von Google. Meistens crawlt er dabei in Forumsseiten (das Forum hat rund 150'000 Beiträge). Gibt es eine Möglichkeit, Google hierbei etwas zu bremsen, ohne dass sich die Indexierung verschlechtert? Oder was läuft schief?

Vielen Dank im Voraus für eure Antworten und Tipps!

[chris21]

Hast Du das Forum sumaschinenfreundlich gestaltet, werden z.B. sids für Suchmaschinen unterbunden? Viele Sachen in einem Forum sind für SuMas unnützes Beiwerk (Visitenkarten, PM-Funktionen, etc.), alle diese Links sollten daher für Gäste nicht angezeigt werden. Ebenso indivuelle Posts in den Thread, auch diese Funktion sollte man Gästen (und damit den SuMas) nicht anzeigen.

[Corlath]

Das hängt sicherlich von der Forumsoftware ab, aber 1 GB am Tag ist doch noch sehr erträglich !
Ich schätze meinen Sumatraffig auf > 10 GB am Tag - locker eigentlich.

Frank

[ts]

In den Webmastertools von Google kann man den Bot etwas ausbremsen, sprich weniger crawlen lasen.

[Morgenstern]

Herzlichen Dank für eure Anregungen.

Hast Du das Forum sumaschinenfreundlich gestaltet, werden z.B. sids für Suchmaschinen unterbunden?

Das habe ich bisher noch nicht gemacht, ist aber ziemlich weit oben auf der Todoliste. Kann es sein, dass er auf Grund der verschiedenen Sessionsids jeweils bei jedem Besuch von Google das gesamte Forum neu durchforstet?

Ebenso indivuelle Posts in den Thread

Dann würden aber doch die Adsense-Anzeigen relativ schlecht auf den Content abgestimmt oder?

1 GB am Tag ist doch noch sehr erträglich

Vom Traffic her ist das zwar schon erträglich, es ist einfach etwas viel, wenn eine Suchmaschine fast die Hälfte des Gesamttraffics ausmacht und dabei noch die Datenbankperformance darunter leidet.