Deepcrawl in progress

[ralfmann]

Was ich komisch finde ist halt, das in den letzten Monaten immer nur der crawler.12 oder crawler. sonstwie bei mir war und jetzt seit einigen Tagen auch (und das recht massiv) der crawl.35 und ähnliche!!

Deshalb glaube ich, das da was größeres im Busche ist.

[Ranking-Check]

Hallo Alan,
sag mal mit welchem Tools verfolgst du die SPider?

Grüße
Thorsten

[Luckybuy3000]

Alle warten auf den "Google Big Bang" so Witch. Hat sich jetzt gestern irgendetwas in den Logfiles abgezeichnet ?

Zumindest heute früh sieht es hier im Forum ja so aus:online: 13 registrierte, kein versteckter und 97 Gäste !

[pluto26]

Ich habe auch sehr starke Zugriffe.

Was ich aber gemerkt habe ist, das nicht alle Seiten die gespidert wurden, automatisch am nächsten Tag im Index sind.

Gruss Pluto

[Eistee]

Dumme Frage am Rande: Was genau versteht man unter einem "Deepcrawl"?

P.S. Mein Googlebot-Log wächst seit heute nacht auch sehr stark

[Webby]

@Thorsten,
Ich habe googlestats und spydertrax installiert. Aber eigentlich brauch ich die nichts weil auf diese Forum index seite steht unten die anzahl von gästen, und wenn die 3-7 mal mehr sind als normafür den Zeit,l weist man das Googlebot spielt gerade
Alan

[spoddig]

Hallo,
ich will ja niemandem die Hoffnung auf ein baldiges Update nehmen. Doch das veränderte verhalten der Google Crawler ist sicher kein Anzeichen dafür. Seit ungefähr 5-6 Wochen kann ich eine starke veränderung de Spider feststellen. Es fin damit an das die Crawler nicht nur ein paar Seiten wie üblich mitnahmen sondern auf einen Schwung mehr als 2000Seiten. Das konnte ich bei insgesammt 5 unterschiedlichen Domäns feststellen, danach war einige Tage alles wie immer, jedoch ca. eine Woche später begann das hier von vielen beschriebene Verhalten. Die Spider kommen jetzt immer gleichzeitig im Rudel, und sind wesentlich fleissiger als vorher, allerdings scheint mir dafür der Zeitraum bois sich das gespiderte Ergebnis in den Serps niederschlägt länger zu dauern als früher. Vorher konnte ich oft nach Änderungen bereits am nächsten Tag das Resultat in den Serps sehen, jetzt dauert es bis zu 3 Tagen.
Wird wahrscheinlich damit zusammenhängen das durch das fleißiger Spidern mehr Zeit für eien durchlauf gebraucht wird.
Wie immer kann ich nur sagen das es nur meine bescheidenen Erfahrungen von 5 Portalen sind, kann natürlich alles nur Zufall sei, aber wenn ich das hier so alles lese deckt sich das mit meinen Erfahrungen.

[LTX]

Wir hatten vor 5 Tagen auch eine deepcrawl bei einen neuen Kunden-Projekt(Portal). Man konnte deutlich sehen wie sich der bot durch die Seite gräbt. 2 Tage später waren alle seiten neu im index.

[d0nut]

Habe die vielen Gäste von vermeintlichen Google IPs auch schon in meinem Coder Forum festgestellt
jedoch erkennt mein Invision Power Board die Gäste nicht als Google Bots


Was mich noch viel mehr wundert, ist dass eine meiner verbrannten domains (auch mit forum) genauso häufig besucht wird???
Ich dachte schon google lässt sich dort nie wieder blicken

[testimax123]

@eistee

Dumme Frage am Rande: Was genau versteht man unter einem "Deepcrawl"?

begriff für einen "grossangriff" der googlebots auf eine seite.
im allgemeinen werden nur vereinzelte seiten gespidert, hat die seite aber tiefe verlinkungs ebenen (ähnlich einem Tannenbaum,wobei die spitze die startseite darstellt) bleiben diese meist unberührt oder selten gespidert. kommt es jetzt zu dem deepcrawl werden k o m p l e t t e homepages bis in die letzte ecke durchgespidert.....

[Eistee]

Dachte ich mir schon, bei der Ansicht meines Google Logfiles heut Morgen.

Er durchsucht also die komplette Site, allerdings hat er bei mir auch versucht, veraltete Links zu spidern?

Mal sehen wie lang des noch geht, momentan crawlen sie noch fleissig.

[JR-EWING]

Also meine Seite hat es jetzt auch kräftig erwischt - fast 50 % Crawl-Anstieg.
Wenn das so weiterläuft muss ich mir wegen dem Traffic Gedanken machen

[Thor]

seit heute morgen 2 Uhr zerpflücken die Googlebots meine Seite:
5000 Zugriffe von Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)
2400 Zugriffe von Googlebot/2.1 (+https://www.google.com/bot.html)
Neuer Rekord im phpBB Forum 125 "Google Gäste" und immer noch am spidern.

Das merkwürdige ist, der Mozilla/5.0 hängt sich im Forum die Session-Id an. Technisch eigentlich gar nicht möglich da für Gäste die Id gesperrt ist und nur bei Anmeldung übergeben wird. Könnten die Session Seiten noch überbleibsel aus vergangenen Tagen sein oder hat Googlebot sich einfach angemeldet ?