ABAKUS

Eigentlich wollte ich grade nen thread mit ähnlichem Namen öffnen...
Ist Google schlau genug, auf 404s hin zu merken, dass eine Seite einen deep crawl verdient haette? Ich hab eine Seite optimiert (naja, versucht) und dabei auch die Verzeichnisstruktur komplett geändert... Nach zwei Durchläufen mit viel 404 traut sich der GoogleBot anscheinend nur noch auf die Indexseite, in allinurl taucht aber noch der komplette alte Kram auf... Ich könnt den deep crawl gut brauchen

@leucophaeus
hm hast du keine weiterleitung von den alten auf die neuen seiten?

naja, von denen, die jetzt rausgefallen sind, eben nicht... wär zu mühselig gewesen; die Seiten sind nicht nur verschoben oder so, die Struktur ist grundlegend anders. Ich hab bloss da, wo es sinnvoll war, auf die Indexseite weiterleiten lassen. Ist jetzt aber auch zu spät, da was zu machen; der Bot hat sie ja schliesslich jetzt anscheinend aus seinem Gedächtnis gestrichen. Bleibt wohl nur zu hoffen...

woran erkennt man eigentlich den DeepCrawl Bot, hat der einen anderen IP Bereich als 64.68.82.xx, wenn ja hatte ich den noch nie auf meiner Seite ;(

Gruss

Jan

@jasi
der hat bei mir auch immer den selben ip bereich 64.68...., ich seh es in der logfile auswertung wenn eine ip besonders gefrässig war
@steppel, grundsätzlich ja - was hast du denn zu bieten *g*
@leucophaeus
404 ist kein anlass für G einen deepcrwal zu machen. heute listet er seiten bei mir die schon seit 2 jahren nicht mehr existieren - jugendsünden sozusagen....sogar die cache version davon ist schon so alt. aber er ist nicht in der lage die "neuen" seiten anzuzeigen, die er vor wochen schon gespidert hat....bzw, in meinem fall nur 13 Tage, jetzt sind sie wieder weg. er hat jetzt nichtmal, wie erst, die vorrige version in seinen serps, sondern die version vor der vorigen version...irgendwann vom sommer 2003. Wenn jemand jeden Monat seinen Content ändert ist G damit total überfordert. Google ist momentan ein Museum

Oh, das sind mal richtig gute News... Macht zwar haufenweise Traffic aber wird sicher auch haufenweise neue Seiten finden und somit neue Besucher mit sich bringen... Mal sehen ob der "User Online" Rekord diesmal wieder gebrochen wird...

so nun isser auch bei mir unterwegs, seid über 6 Stunden am Crawlen, der gute Bot

Ich habe da mal eine Anfängerfrage ab vieleicht erklärt mir mal einer ob es da Unterschiede bei den crawler.googlebot.com gibt bei mir war heute von crawler1.googlebot.com bis crawler16.googlebot.com so ziemlich alles auf meiner Seite jeder hat sich aber nur 2 - 4 Seiten angeschaut. Hat das irgend eine Bedeutung und warum kommen die die letzten Tage so masiv Teilwise tümmeln die sich gleich zu 3. oder 4. auf meiner Seite