Seite 1 von 1
GoogleBot ip´s
Verfasst: 28.01.2008, 02:22
von Spacefish
Hallo, auf einer meiner websites kommt der googlebot alle paar Sekunden vorbei (30-60 sec etwa..) macht au einiges an traffic 50-60 gb / monat.. jetzt kommt das immer von der ip 66.249.66.18 aber heute kam 1 Abruf auf eine Seite die aussieht wie 100 andere auf dem Projekt von einer anderen Ip.. und zwar von 66.249.73.242 woran liegt sowas? der Request war 1 sec nach einem von der 66.249.66.18 wird da nochmal extra was überprüft oder so? Laut den Ping laufzeiten in nem traceroute müssten die beiden server bei google in total verschiedenen locations stehen... die Seite wurde aber davor nicht von dem 66.249.66.18 abgerufen.. es wundert mich irgendwie, dass da genau 1ne Abfrage unter 100.000den von einer anderen IP ist..
Verfasst: 28.01.2008, 21:20
von 3DCG
50-60GB Traffic nur durch Google - bremse ihn doch aus mit einer sitemap aus und lass nur einmal pro Woche/Monat spidern
Wenn DU keine Flatrate hast ist das der killer
.
Verfasst: 28.01.2008, 21:28
von Erodua
Wenn du die Google Webmastertools (
https://www.google.com/webmasters/sitemaps/) nutzt kannst du unter Tools die Crawlinggeschwindigkeit runtersetzen. Dort kannst du übrigend auch eine XML-Sitemap definieren, das spart auch so einiges!
Verfasst: 28.01.2008, 21:42
von sean
Google hat mal ein Script veröffentlich, was via DNS prüft ob eine IP wirklich zu Google gehört. das einfach einbauen.
Gruß
sean
Verfasst: 28.01.2008, 22:39
von Spacefish
sean hat geschrieben:Google hat mal ein Script veröffentlich, was via DNS prüft ob eine IP wirklich zu Google gehört. das einfach einbauen.
Gruß
sean
damit hab ich kein problem
das Script hab ich au fix selber gecoded, die ip´s gehören beide definitiv zu Google!
Verfasst: 29.01.2008, 00:39
von moin
Hi, vielleicht solltest du mal etwas an deinen Seiten ändern, wenn der Googleboot mit Abrufen alle 30s über 50GB Traffic verursacht, sind deine Seiten einfach zu "fett" - durchschnittlich über 500 kB pro Seite! Da wird dir auch die Crawling-Geschwindigkeit nicht helfen, den alle 30s oder seltener ist nach meiner Erfahrung schon die langsamste Stufe.
Gruß
Verfasst: 29.01.2008, 08:59
von uwew
Hi, da hast du ja sicher eine Menge an Seiten, so > 50000 ?
Verfasst: 29.01.2008, 17:24
von Spacefish
uwew hat geschrieben:Hi, da hast du ja sicher eine Menge an Seiten, so > 50000 ?
das sind hauptsächlich die Seiten mit den comments unter jeder seite und dann gibts halt noch X links zu jeder seite wie z.B. zu pesönlichen favoriten hinzufügen, und die spidert er au für jede nochmal mit.. völlig sinnlos da da nur ne seite kommt "bitte einloggen"
