GoogleBot ip´s

[Spacefish]

Hallo, auf einer meiner websites kommt der googlebot alle paar Sekunden vorbei (30-60 sec etwa..) macht au einiges an traffic 50-60 gb / monat.. jetzt kommt das immer von der ip 66.249.66.18 aber heute kam 1 Abruf auf eine Seite die aussieht wie 100 andere auf dem Projekt von einer anderen Ip.. und zwar von 66.249.73.242 woran liegt sowas? der Request war 1 sec nach einem von der 66.249.66.18 wird da nochmal extra was überprüft oder so? Laut den Ping laufzeiten in nem traceroute müssten die beiden server bei google in total verschiedenen locations stehen... die Seite wurde aber davor nicht von dem 66.249.66.18 abgerufen.. es wundert mich irgendwie, dass da genau 1ne Abfrage unter 100.000den von einer anderen IP ist..

[3DCG]

50-60GB Traffic nur durch Google - bremse ihn doch aus mit einer sitemap aus und lass nur einmal pro Woche/Monat spidern

Wenn DU keine Flatrate hast ist das der killer


.

[Erodua]

Wenn du die Google Webmastertools (https://www.google.com/webmasters/sitemaps/) nutzt kannst du unter Tools die Crawlinggeschwindigkeit runtersetzen. Dort kannst du übrigend auch eine XML-Sitemap definieren, das spart auch so einiges!

[sean]

Google hat mal ein Script veröffentlich, was via DNS prüft ob eine IP wirklich zu Google gehört. das einfach einbauen.

Gruß

sean

[Spacefish]

Google hat mal ein Script veröffentlich, was via DNS prüft ob eine IP wirklich zu Google gehört. das einfach einbauen.

Gruß

sean

damit hab ich kein problem das Script hab ich au fix selber gecoded, die ip´s gehören beide definitiv zu Google!

[moin]

Hi, vielleicht solltest du mal etwas an deinen Seiten ändern, wenn der Googleboot mit Abrufen alle 30s über 50GB Traffic verursacht, sind deine Seiten einfach zu "fett" - durchschnittlich über 500 kB pro Seite! Da wird dir auch die Crawling-Geschwindigkeit nicht helfen, den alle 30s oder seltener ist nach meiner Erfahrung schon die langsamste Stufe.

Gruß

[uwew]

Hi, da hast du ja sicher eine Menge an Seiten, so > 50000 ?

[Spacefish]

Hi, da hast du ja sicher eine Menge an Seiten, so > 50000 ?

das sind hauptsächlich die Seiten mit den comments unter jeder seite und dann gibts halt noch X links zu jeder seite wie z.B. zu pesönlichen favoriten hinzufügen, und die spidert er au für jede nochmal mit.. völlig sinnlos da da nur ne seite kommt "bitte einloggen"