Wie häufig spidered Google?

[Linkspion]

Hallo Forum,

was sind Eure Erfahrungen, wie häufig Websites von Google gespidered werden und wovon ist das eigentlich abhängig? Hintergrund der Frage ist, dass in meinem Webkatalog LinkSPION.de neu hinzugefügte Unterseiten teilweise relativ lange (3-4 Wochen) brauchen, bis sie von Google indiziert werden. Was könnte der Grund dafür sein?

Danke für konstruktive Infos!

[luzie]

hi linkspion,

was sind Eure Erfahrungen, wie häufig Websites von Google gespidered werden und wovon ist das eigentlich abhängig

das ist einerseits von der update-frequenz deiner site abhängig (je öfter du updatest, desto öfter kommt der bot, das system passt sich da an)

andererseits ist es von deinem "pagerank" abhängig (damit nicht gleich wieder jemand kommt und den "pagerank" mit der "pagerank-anzeige" verwechselt besser: eingehende linkpower). je besser du verlinkt bist, desto schneller kommt jeweils der bot.

bezogen auf unterseiten gilt das obige plus die linktiefe zur seite, je weiter weg von der hauptseite (bzw. von den seiten, die eingehende links erhalten haben), desto lahmer wird sich der bot gebärden.

[w3news]

also meine seiten werden jeden tag gespidert und neue seiten sind innerhalb weniger tagen im index (wo auch immer ) da ich nicht gerade viele eingehende und schon gar nicht starke backlinks habe, liegt es in der gewichtung eher an der aktualisierung der seiten, also um so öfter die aktualisiert werden desto schneller werden sie indiziert, pauschal gesagt

[pr_sniper]

bei einer ständig aktuellen Seite, z.B. wie auch bei Abakus kommt der Bot sogar mehrfach am Tag.

Aktualität, einzigartiger Content, d.h. Nützlichkeit der Informationen für Besucher, aber auch gute innere Verlinkung, flache Struktur, aussagekräftige URLs können das zusätzlich unterstützen.

Was sollte aber der Googlebot bei einem Katalog, Verzeichnis usw., also Sites ohne jeglichen eigenen Content und nicht zuletzt eventuell Mitbewerber ständig crawlen und diese protegieren?

[WhispR]

Erkennt Der Googlebot Änderungen, indem er die aktuelle Seite mit seinem Cache überprüft, oder wie macht er es genau?

[MikeK]

Vielleicht mag Google keine Kataloge die Weiterleitungen statt direkten Links nutzen?

[suchus]

Was soll den der Bot dort spidern, sind ja nur URLs drauf und Anzeigen?.

[pr_sniper]

"wie macht er es genau" - er vergleicht die Einsen und Nullen mit dem vorherigen Stand, ermittelt so die wahrscheinliche Erneuerungsrate der Website und einer Seite im Schnitt und stellt so seine Ressourcen zum Crawlen und Indizieren ein

Eher wohl noch theoretisch liest er auch die Sitemap nach Periodizität der Erneuerung aus und berücksichtigt diese (lastmod und changefreq).

[Vega]

Hallo Forum,

was sind Eure Erfahrungen, wie häufig Websites von Google gespidered werden und wovon ist das eigentlich abhängig? Hintergrund der Frage ist, dass in meinem Webkatalog LinkSPION.de neu hinzugefügte Unterseiten teilweise relativ lange (3-4 Wochen) brauchen, bis sie von Google indiziert werden. Was könnte der Grund dafür sein?

Danke für konstruktive Infos!

Also auf meiner Seite www.vegaoptics.de ist der google bot ein ständiger Besucher bzw. Dauergast. Oftmals sind die Seiten innerhalb 24 h im Index. Der Inktomi Bot ist eher seltener da.

[xxlfeuerwalze]

Übrigens, dein Katalog "linkspion" finde ich sehr gut. Schaue mich öfters dort um.