Wie oft kommt der Googlebot?

[binarybase]

Hallo zusammen,

ich habe gehört, dass bei manchen Sites der Bot hunderte Male am Tag vorbeischaut. Bei mir kommt er vielleicht an zwei oder drei Uhrzeiten am Tag kurz vorbei - indizieren tut er längst nicht alle Seiten.

Woran kann das liegen? Hat es etwas mit dem PR zu tun oder mit einem anderen Faktor? Ich versuche meine Site von den Keywords her nach oben zu pushen, aber es ist schwer, wenn der Bot nicht alles erfassen mag.

Hänge derzeit auf PR3 und bei den Suchbegriffen im Nirvana...

Wie oft kommt der Bot bei Euren Sites denn so vorbei?

[bull]

Guter Einstieg: https://www.abakus-internet-marketing.d ... 13702.html sowie https://www.abakus-internet-marketing.d ... 29825.html
Generell herrscht die Auffassung, daß ab PR5 mit täglichem Besuch zu rechnen ist. Die alte Unterscheidung vom Deepcrawl-Bot und Freshbot scheint nicht mehr zu gelten, wie heutzutage bei Google sowieso nicht mehr viel als gesichert gelten kann. Generell gilt auch: Je aktueller, frischer der Content ist, desto höher ist die (vom PR unabhängige) Wahrscheinlichkeit, daß er öfters kommt. Deeplinks zu Unterseiten haben in vielen Fällen ein beschleunigtes erstmaliges Deepcrawlen der Seiten ermöglicht.

[binarybase]

Danke für die Links und Infos!

[Halli]

Generell herrscht die Auffassung, daß ab PR5 mit täglichem Besuch zu rechnen ist.

Kann ich bestätigen. Unsere Startseite hat PR6 und der Gogglebot kommt täglich. Dabei holt er im Schnitt 3.000 Seiten = ca. 15% der Site.

[Scubi]

Meine Seite hat PR4, dort kommt er auch täglich. Holt sich aber täglich unterschiedlich viele Seiten.

Mir ist in letzter Zeit aufgefallen, daß immer wenn MSN extrem aktiv ist, auch Google sich richtig ins Zeug legt.

Woran es liegt, ist mir noch unklar.
Ist fast als wenn die Bots sich absprechen.
Was natürlich nicht sein kann.

Mein erster Gedanke war das die sich an irgendwelchen Seiten überschneiden, und dann jeder so richtig loslegt.

Evtl. kann da ja mal jemand von den Profis was sagen.

Gruß Scubi

[SeroZ]

Meine Seite (siehe Signatur) hat 34.000 Seiten.
Leider sind bisher nur 2.300 im Index, obwohl die Seite bereits seit 6 Wochen bestehen.

Habe zur Zeit PR 3 mit einigen PR 5 Linkpartnern.

Der Bot kommt jeden Tag, packt sich aber nie mehr Seiten.

Woran kann das liegen? Was kann ich da machen?

Gruß

SeroZ

[Jojo]

Weil es mir grade auffällt:
Eine meiner Seiten hat PR4, besteht nur aus einer einzelnen Seite und Google zeigt im Cache den 13. Oktober an. Die Seite ist allerdings auch seit ein paar Monaten nicht mehr geändert worden.

[Scubi]

@ Seroz

Wenn ich meine Tracker und Statistiken richtig lese, dann spidert Google nur alle 2 Wochen gründlich. Ansonsten werden nur wichtige Seiten wie die Kategorien die oberen Ebenen nach Neuigkeiten gespidert. Von da geht es dann beim nächsten Besuch in die Tiefe.

Nach 6 Wochen solltest Du froh sein, das google überhaupt schon so viele Seiten aufgenommen hat.

Gruß Scubi

[dexter]

scubi kann ich bestätigen, allerdings sind die 2 wochen keine regel. bei uns (pr5) wechseln sich 1 bis 3 wochen abstand zwischen den deep crawls ab. bei den deep crawls werden nicht immer alle seiten geholt, und der crawl verteilt sich ebenfalls unterschiedlich auf 1 bis 7 tage. dazwischen holt er sich pro tag nur maximal ein paar hundert seiten.

völlig unabhängig vom crawling scheint allerdings zu sein, ob überhaupt und falls ja, wann die geholten seiten in den index übernommen werden -- hierbei habe ich noch keine regel feststellen können.

manche deep crawls werden auch nur zum anlass genommen, seiten wieder aus dem index zu löschen statt neue hinzuzufügen -- bei uns zuletzt so geschehen vorgestern, da haben wir auf einmal ca. 50% der mit text indexierten seiten verloren. vom 2.12. bis 5.12. war bei uns der letzte deep crawl, dabei wurden rund 29.000 seiten ohne fehler gespidert -- zumindest ohne fehler auf unserer seite, offenbar aber mit irgendeinem fehler auf google-seite. google ist halt ein wunderwerk der technik -- manchmal kann man sich nur wundern, wieso das ding überhaupt funktioniert.

[sean]

@SeroZ

obwohl die Seite bereits seit 6 Wochen bestehen....
Habe zur Zeit PR 3 mit einigen PR 5 Linkpartnern.

6 Wochen ist noch recht kurz. Nach 3 Monaten, ein PR von 5 und ein paar Backlinks sollten alle Seiten drin sein.

Ein Tipp um die Aufnahme der Seiten in den Index zu beschleuingien ist, alle paar Tage 10 tiefer liegende Seiten als Tipp oder so auf der Homepage zu verlinken. Die nimmt der G Bot auf jeden Fall mit.

sean

[Stefan_79]

Je öfters die Seite geändert wird, desto öfters kommt der Bot vorbei! Zeilenweise wurden Täglich ca. 10 bis 15 Seiten indiziert. Da ich augenblicklich nicht mehr die Zeit hab um die Seite 1 bis 2 mal pro Woche zu ändern, sondern nur noch einmal im Monat, kommt der Googlebot auch nur noch alle zwei oder drei Tage vorbei.

Das sich der MSN und Google-Bot zur selben zeit aktiver wird, ist mir bisher nicht aufgefallen!

Es dauerte aber stellenweise sehr lange bis einzelne Unterseiten Aktualisiert wurden.

Stefan

[Frank79]

Je öfters die Seite geändert wird, desto öfters kommt der Bot vorbei!

Hi,

wie sieht es denn aus wenn die Seiten nur aus Datenbankgenereierten ASP Dateien bestehn.
Ich änder also fast nei die ASP Dateien sondern nur die Einträge in der Datenbank....

Frank

[Jörg]

Hallo Frank,

wenn sich die Einträge in der Datenbank ändern, ändern sich wohl auch die Dateien, die der Server an Bots und Browser ausgibt

[tro]

Ein Tipp um die Aufnahme der Seiten in den Index zu beschleuingien ist, alle paar Tage 10 tiefer liegende Seiten als Tipp oder so auf der Homepage zu verlinken. Die nimmt der G Bot auf jeden Fall mit.

Ist diese Vorgehensweise auch sinnvoll, wenn ich auf die Index-Seite eine Navi-Leiste mit allen wichtigen (Unter-)Seiten gesetzt habe?
Siehe www.die-zahnklinik.de, zum Beispiel zum Thema Zahnimplantate??

Danke, tro

[maxlino]

Hi,

also meine Seite ist jetzt ca. 6 bis 7 wochen online und Goggle hat nach ein paar Tagen jedesmal nur die Startseite gespidert. das aber täglich, trotz PR0. Dann waren es seid ca. 2 wochen knappe 70 Seiten im Index. ´Seid 2 Tagen hat er endlich richtig losgelegt und inzwischen sind es schon weit über 200 Seiten.

Also so ungeduldig ich auch war - ich habe gelernt: Gut Ding will Weile haben