googlebot kommt nun jede Minute

Beitrag von **forennutzer** » 04.05.2007, 08:33

Guten Tag liebe Community!
Seit zwei Tagen kommt der googlebot jede Minute bei meiner Website vorbei. Zuvor war die Frequenz deutlich niedriger und der Bot wurde einmal pro Tag aufgezeichnet.
Woran kann diese Änderung im Verhalten des Bots liegen? Google Sitemaps? Ist ein Anstieg im Ranking zu erwarten? Die Page war mal mit vielen Begriffen in den Top10 und ist seit März 07 im Zuge der Massenabwertungen weit hinten. Warum nun die hohe Bot-Frequenz?

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Gurgelboot** » 04.05.2007, 10:35

Kann das bestätigen...

Generell kann das natürlich an einer neu eingereichten Google-Sitemap liegen, dann dreht das Krabbeltierchen erstmal hohl.

Bei meiner Site ist dies aber auch zu beobachten, beim genaueren hinsehen sogar wiederholt die gleiche Unterseite innerhalb weniger Minuten - gleiche IP - jedesmal mit 200 statt mit 304(??)...

Besere Positionen allein durch starkes spidern sind aber definitiv nicht zu erwarten.

Grüße

Beitrag von **forennutzer** » 04.05.2007, 11:10

...danke für die Info! Bei mir kommen auch alle Bot-Abfragen von der gleichen IP. Ich nutze jedenfall die Gunst der Stunde und biete dem Bot viele neu verfasste Texte an. Vom Ranking her ergibt es keinen Sinn. Denn - warum meine nunmehr sooo unwichtige Website mit dieser hohen Bot-Frequenz spidern. Wenn das so bleibt, entstehen nebenbei einige Giga´s unnötiger Traffic. Na ja, mal sehen wie´s weiter geht..

von **Anzeige von ABAKUS** »

Beitrag von **Gurgelboot** » 04.05.2007, 11:20

Habe aber auch beobachtet, dass eine Site 31x im letzten Monat gespidert wurde, das Cache-Datum ist trotz durchgeführter Änderungen an der Seite vom 06.03.07 !!!

Also dämpfe deine Zuversicht etwas, ungeachtet dessen sind neue Inhalte und Texte nie verkehrt...

Grüße

Beitrag von **forennutzer** » 08.05.2007, 08:19

Mit der Zuversicht hält sich´s ohnehin in Grenzen. Es steckt einfach viel Zeit und Arbeit im Projekt; deshalb wird stetig weiter gepflegt

Beitrag von **|SONY|** » 14.05.2007, 17:44

hallo zusammen,

mit welchem tool bzw. abfrage wertet ihr soetwas aus ?

Code: Alles auswählen

wiederholt die gleiche Unterseite innerhalb weniger Minuten - gleiche IP - jedesmal mit 200 statt mit 304&#40;??&#41;

PS: eine neue seite, online ca. 4 monate fast fertige seite hat einen besuch vom google boot wöchentlich = 150, ist das OK ?

besten dank
sony

Beitrag von **Gurgelboot** » 14.05.2007, 19:32

Das war jetzt eher zufällig in den rohen logs gesehen.

Da ich einen Absturz hatte, habe ich mir die Zeilen mit "Googlebot/" genauer angeschaut - einfach per Suchfunktion...

Dabei bin ich darauf gestoßen

Grüße

Beitrag von **Anonymous** » 14.05.2007, 23:50

forennutzer hat geschrieben:Guten Tag liebe Community!
Seit zwei Tagen kommt der googlebot jede Minute bei meiner Website vorbei. Zuvor war die Frequenz deutlich niedriger und der Bot wurde einmal pro Tag aufgezeichnet.
Woran kann diese Änderung im Verhalten des Bots liegen? Google Sitemaps? Ist ein Anstieg im Ranking zu erwarten? Die Page war mal mit vielen Begriffen in den Top10 und ist seit März 07 im Zuge der Massenabwertungen weit hinten. Warum nun die hohe Bot-Frequenz?

)
hatte 3 tage nen festgebissenen yahoo spider ( gleich mit 10-20 ip`s war der an den seiten am rumkauen - 3 tage >> 9 GB - und jetzt iss dat ding weg - gott sei dank.

scheint vielleicht bei denen was umgestellt worden zu sein - oder die tierchen kamen nicht ins häuschen weil zu der zeit der pr in den datacentern berechnet und vergeben wurde - vielleicht überlastet - was weiss ich. das prob hatten aber viele seiten synchron.

interessant halt - ich bekam die nicht weg - weder mit htaccess noch ip sperre - und die ganze domain per htac. au-sperren wars mir nicht wert - und nach 72 stunden war der spuk dann vorbei.

Beitrag von **LinkPop** » 15.05.2007, 01:27

Gurgelboot hat geschrieben:.. jedesmal mit 200 statt mit 304(??)...

Google sendet keine "if modified since"-Daten an den Server und deshalb wird hier immer mit 200 geantwortet.

Beitrag von **Fox Mulder** » 15.05.2007, 12:50

LinkPop hat geschrieben: Google sendet keine "if modified since"-Daten an den Server und deshalb wird hier immer mit 200 geantwortet.

https://www.google.ca/support/webmaster ... 69&hlrm=de

Stellen Sie sicher, dass Ihr Webserver den HTTP-Header "If-Modified-Since" unterstützt. Über diese Funktion kann Ihr Webserver Google mitteilen, ob der Inhalt seit dem letzten Crawling Ihrer Website geändert wurde. Mit dieser Funktion können Sie Bandbreite und Overhead einsparen.

Gruss

Beitrag von **LinkPop** » 15.05.2007, 14:57

Fox Mulder hat geschrieben:
LinkPop hat geschrieben: Google sendet keine "if modified since"-Daten an den Server und deshalb wird hier immer mit 200 geantwortet.
https://www.google.ca/support/webmaster ... 69&hlrm=de
Stellen Sie sicher, dass Ihr Webserver den HTTP-Header "If-Modified-Since" unterstützt. Über diese Funktion kann Ihr Webserver Google mitteilen, ob der Inhalt seit dem letzten Crawling Ihrer Website geändert wurde. Mit dieser Funktion können Sie Bandbreite und Overhead einsparen.
Gruss

Tja, was sagt man dazu?

Ich habe etliche Domains die "If-Modified-Since" unterstützen. Google bekommt dennoch immer 200er.

Beitrag von **silverzone** » 15.05.2007, 15:44

Bei mir hängen die Bots seit ca. 3 Wochen ununterbrochen an meiner Seite.

Google is am schlimmsten, danach yahoo.

Google ist eigentlich immer 24 stunden online. Stören tut mich das nicht, da ich auch versuche regelmässig neuen Content einzufügen. und Traffic-limit habe ich keinen