ABAKUS

Hi,

ich hab täglich Besuch von zig. Google Bots. Insgesamt spidert Google rund 2500 Seiten von mir pro Tag !

So geht das schon seit Wochen, ist das normal ?

Online sind z.Z

02. 20:08:13 Gast COM crawl-66-249-71-70.google... 66.249.71.70
06. 20:08:05 Gast COM crawl-66-249-64-38.google... 66.249.64.38
07. 20:08:04 Gast COM crawl-66-249-71-39.google... 66.249.71.39
14. 20:07:34 Gast COM crawl-66-249-71-67.google... 66.249.71.67
15. 20:07:34 Gast COM crawl-66-249-64-58.google... 66.249.64.58
16. 20:07:34 Gast COM crawl-66-249-71-73.google... 66.249.71.73
18. 20:07:30 Gast COM crawl-66-249-64-55.google... 66.249.64.55
19. 20:07:29 Gast COM crawl-66-249-71-61.google... 66.249.71.61
20. 20:07:27 Gast COM crawl-66-249-64-79.google... 66.249.64.79
38. 20:05:58 Gast COM crawl-66-249-71-39.google... 66.249.71.39
39. 20:05:56 Gast COM crawl-66-249-64-68.google... 66.249.64.68
41. 20:05:53 Gast COM crawl-66-249-64-18.google... 66.249.64.18
42. 20:05:51 Gast COM crawl-66-249-64-33.google... 66.249.64.33
43. 20:05:46 Gast COM crawl-66-249-71-69.google... 66.249.71.69
44. 20:05:45 Gast COM crawl-66-249-71-32.google... 66.249.71.32
45. 20:05:43 Gast COM crawl-66-249-64-55.google... 66.249.64.55
48. 20:05:38 Gast COM crawl-66-249-64-28.google... 66.249.64.28

nur 2500?
es ist normal, wie ausgelastet ist denn dein server?

inso

Cpu Last kann ich dir ned sagen weills kein Rootserver ist.
Da der Traffic aber langsam an das freeLimit kommt werd ich das Paket wohl mal aufstocken müssen.

Also ich finds schon recht heftig wenn ich sehe wieviele Google bots da immer gleichzeitig am schnüffeln sind.

heftig ist es erst wenn es so viele bots sind das der server komplett in die knie geht ....

neben google kann teoma das übrigens auch ganz gut.

inso

Das Problem, wenn es denn eins ist, beobachte ich seit ca. 8. Januar.Warum "G" so aktiv ist, kann man nur vermuten. Gleichzeitig ist Yahoo ziemlich Traffic intensiv.
Obs jetzt ein monatliche PR Update gibt ?

pr hat mit einem aktuellen index imho wenig zu tun ....