GoogleBot ip´s

Beitrag von **Spacefish** » 28.01.2008, 02:22

Hallo, auf einer meiner websites kommt der googlebot alle paar Sekunden vorbei (30-60 sec etwa..) macht au einiges an traffic 50-60 gb / monat.. jetzt kommt das immer von der ip 66.249.66.18 aber heute kam 1 Abruf auf eine Seite die aussieht wie 100 andere auf dem Projekt von einer anderen Ip.. und zwar von 66.249.73.242 woran liegt sowas? der Request war 1 sec nach einem von der 66.249.66.18 wird da nochmal extra was überprüft oder so? Laut den Ping laufzeiten in nem traceroute müssten die beiden server bei google in total verschiedenen locations stehen... die Seite wurde aber davor nicht von dem 66.249.66.18 abgerufen.. es wundert mich irgendwie, dass da genau 1ne Abfrage unter 100.000den von einer anderen IP ist..

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **3DCG** » 28.01.2008, 21:20

50-60GB Traffic nur durch Google - bremse ihn doch aus mit einer sitemap aus und lass nur einmal pro Woche/Monat spidern

Wenn DU keine Flatrate hast ist das der killer

.

Beitrag von **Erodua** » 28.01.2008, 21:28

Wenn du die Google Webmastertools (https://www.google.com/webmasters/sitemaps/) nutzt kannst du unter Tools die Crawlinggeschwindigkeit runtersetzen. Dort kannst du übrigend auch eine XML-Sitemap definieren, das spart auch so einiges!

von **Anzeige von ABAKUS** »

Beitrag von **sean** » 28.01.2008, 21:42

Google hat mal ein Script veröffentlich, was via DNS prüft ob eine IP wirklich zu Google gehört. das einfach einbauen.

Gruß

sean

Beitrag von **Spacefish** » 28.01.2008, 22:39

sean hat geschrieben:Google hat mal ein Script veröffentlich, was via DNS prüft ob eine IP wirklich zu Google gehört. das einfach einbauen.

Gruß

sean

damit hab ich kein problem

das Script hab ich au fix selber gecoded, die ip´s gehören beide definitiv zu Google!

Beitrag von **moin** » 29.01.2008, 00:39

Hi, vielleicht solltest du mal etwas an deinen Seiten ändern, wenn der Googleboot mit Abrufen alle 30s über 50GB Traffic verursacht, sind deine Seiten einfach zu "fett" - durchschnittlich über 500 kB pro Seite! Da wird dir auch die Crawling-Geschwindigkeit nicht helfen, den alle 30s oder seltener ist nach meiner Erfahrung schon die langsamste Stufe.

Gruß

Beitrag von **uwew** » 29.01.2008, 08:59

Hi, da hast du ja sicher eine Menge an Seiten, so > 50000 ?

Beitrag von **Spacefish** » 29.01.2008, 17:24

uwew hat geschrieben:Hi, da hast du ja sicher eine Menge an Seiten, so > 50000 ?

das sind hauptsächlich die Seiten mit den comments unter jeder seite und dann gibts halt noch X links zu jeder seite wie z.B. zu pesönlichen favoriten hinzufügen, und die spidert er au für jede nochmal mit.. völlig sinnlos da da nur ne seite kommt "bitte einloggen"