Goggle überrennt mich mit Bots

Beitrag von **Synapse** » 18.01.2005, 21:15

Hi,

ich hab täglich Besuch von zig. Google Bots. Insgesamt spidert Google rund 2500 Seiten von mir pro Tag !

So geht das schon seit Wochen, ist das normal ?

Online sind z.Z

02. 20:08:13 Gast COM crawl-66-249-71-70.google... 66.249.71.70
06. 20:08:05 Gast COM crawl-66-249-64-38.google... 66.249.64.38
07. 20:08:04 Gast COM crawl-66-249-71-39.google... 66.249.71.39
14. 20:07:34 Gast COM crawl-66-249-71-67.google... 66.249.71.67
15. 20:07:34 Gast COM crawl-66-249-64-58.google... 66.249.64.58
16. 20:07:34 Gast COM crawl-66-249-71-73.google... 66.249.71.73
18. 20:07:30 Gast COM crawl-66-249-64-55.google... 66.249.64.55
19. 20:07:29 Gast COM crawl-66-249-71-61.google... 66.249.71.61
20. 20:07:27 Gast COM crawl-66-249-64-79.google... 66.249.64.79
38. 20:05:58 Gast COM crawl-66-249-71-39.google... 66.249.71.39
39. 20:05:56 Gast COM crawl-66-249-64-68.google... 66.249.64.68
41. 20:05:53 Gast COM crawl-66-249-64-18.google... 66.249.64.18
42. 20:05:51 Gast COM crawl-66-249-64-33.google... 66.249.64.33
43. 20:05:46 Gast COM crawl-66-249-71-69.google... 66.249.71.69
44. 20:05:45 Gast COM crawl-66-249-71-32.google... 66.249.71.32
45. 20:05:43 Gast COM crawl-66-249-64-55.google... 66.249.64.55
48. 20:05:38 Gast COM crawl-66-249-64-28.google... 66.249.64.28

von **Anzeige von ABAKUS** »

Beitrag von **inso** » 18.01.2005, 21:49

nur 2500?

es ist normal, wie ausgelastet ist denn dein server?

inso

Beitrag von **Synapse** » 18.01.2005, 21:58

Cpu Last kann ich dir ned sagen weills kein Rootserver ist.
Da der Traffic aber langsam an das freeLimit kommt werd ich das Paket wohl mal aufstocken müssen.

Also ich finds schon recht heftig wenn ich sehe wieviele Google bots da immer gleichzeitig am schnüffeln sind.

Beitrag von **inso** » 18.01.2005, 22:03

heftig ist es erst wenn es so viele bots sind das der server komplett in die knie geht ....

neben google kann teoma das übrigens auch ganz gut.

inso

Beitrag von **Luckybuy3000** » 18.01.2005, 23:20

Das Problem, wenn es denn eins ist, beobachte ich seit ca. 8. Januar.Warum "G" so aktiv ist, kann man nur vermuten. Gleichzeitig ist Yahoo ziemlich Traffic intensiv.
Obs jetzt ein monatliche PR Update gibt ?

Beitrag von **inso** » 18.01.2005, 23:26

pr hat mit einem aktuellen index imho wenig zu tun ....