Warum geht Google nicht tiefer?

Beitrag von **Klaus** » 08.03.2004, 15:51

Hallo.
Da warte ich drei Wochen auf den Bot (nur PR1) und dann so etwas:

64.68.82.204 - - &#91;07/Mar/2004&#58;07&#58;11&#58;07 +0100&#93; "GET /robots.txt HTTP/1.0" 200 5519 "-" "Googlebot/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;"
64.68.82.204 - - &#91;07/Mar/2004&#58;07&#58;11&#58;07 +0100&#93; "GET / HTTP/1.0" 200 5299 "-" "Googlebot/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;"
64.68.82.135 - - &#91;07/Mar/2004&#58;20&#58;24&#58;05 +0100&#93; "GET /robots.txt HTTP/1.0" 200 5519 "-" "Googlebot/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;"
64.68.82.135 - - &#91;07/Mar/2004&#58;20&#58;24&#58;05 +0100&#93; "GET / HTTP/1.0" 200 5299 "-" "Googlebot/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;"

Klasse!
Der Robot won Yahoo ist da wohl gnädiger.

Code: Alles auswählen

66.196.90.197 - - &#91;08/Mar/2004&#58;04&#58;31&#58;39 +0100&#93; "GET /robots.txt HTTP/1.0" 200 5519 "-" "Mozilla/5.0 &#40;compatible; Yahoo! Slurp; http&#58;//help.yahoo.com/help/us/ysearch/slurp&#41;"
66.196.90.113 - - &#91;08/Mar/2004&#58;04&#58;31&#58;40 +0100&#93; "GET /verz/produkt/produkt.html HTTP/1.0" 200 19167 "-" "Mozilla/5.0 &#40;compatible; Yahoo! Slurp; http&#58;//help.yahoo.com/help/

Das macht er jeden Tag.

Wer hat eine Idee, warum Google nach drei Wochen nicht doch mal tiefer geht?

Es ist ein egframte Seite, die aber vor Monaten schon mal tiefer gespidert wurde. Nch Austin sehr abgerutscht.

Danke.
Gruß
Klaus

PS Und gerade sehe ich bei digitalpoint, dass es von gestern auf heute einige gute Sprünge, teilweise auf vordere Plätze getan hat.

von **Anzeige von ABAKUS** »

Beitrag von **Boa** » 08.03.2004, 15:55

Ich hatte das auch bei neuen Domains, und dann auf einmal fängt er das deepcrawlen an und hört nicht mehr auf.

ppS ich stelle auch Veränderungen an den serps fest.

Beitrag von **Klaus** » 08.03.2004, 16:19

Ja, nur ist die Domain nicht mehr so neu: ungefähr August 2003 das erste besucht. Und weil wohl ein schlechter PR kommt er nicht so oft vorbei. Aber das nun!?!?

Bei meinen SERPS gibt es teilweise wieder weniger Seiten im Index. Statt 256.000 jetzt nur 225.00 und so ähnlich.

von **Anzeige von ABAKUS** »

Beitrag von **Boa** » 08.03.2004, 16:46

Dann ist der Content wohl nicht unterschiedlich genug für g****e.

Dieses Problem wurde aber schon an anderer Stelle hier im Forum besprochen.

Beitrag von **dirk** » 08.03.2004, 17:08

Eine site von mir ist seit ca. 6 Wochen online. Hat noch pr0. Seit ca. 1 Woche gehts richtig ab ... alle Seiten bis zur 5ten Ebene sind nu im Index. Und der Bot kommt dauernd wieder. Am PR liegts also nicht immer

Beitrag von **buttheads** » 08.03.2004, 17:22

Bei mir ist auf allen Domains seit dem letzten Backlink-update kein deepcrawl passiert. Immer wieder werden einige der neuen Seiten gespidert und verschwinden dann wieder aus dem Index. Bei allen Seiten, die vor dem letzten Backlink schon indexiert waren, wird innerhalb von 2-3 Tagen nach einem Seitenupdate gespidert und die neuen Seiten erscheinen dann auch im Cache ...

Für mich sieht das ein wenig so aus, alsob Google derzeit kein größeres Interesse hat, neue Seiten aufzunehmen sondern statt dessen irgendetwas "Neues" auf den alten Seiten sucht ... vielleicht wird eine neue Art von Daten für den neuen Algo gebraucht?

Ich bin inzwischen mehr neugierig auf das nächste Backlink - update als auf irgendwelche PR-Veränderungen (Neue Seiten mit PR0, die einen PR4 bekommen werden, werden seit dem letzten Backlink-update bereits wie PR4er Seiten gespidert). Auch wenn PR in den Regionen offensichtlich nicht mehr viel mit den Serps zu tun hat, sorgt es für immer aktuelle Seiten im Cache ....

Beitrag von **zzz** » 08.03.2004, 18:07

buttheads hat geschrieben:Bei mir ist auf allen Domains seit dem letzten Backlink-update kein deepcrawl passiert. Immer wieder werden einige der neuen Seiten gespidert und verschwinden dann wieder aus dem Index. Bei allen Seiten, die vor dem letzten Backlink schon indexiert waren, wird innerhalb von 2-3 Tagen nach einem Seitenupdate gespidert und die neuen Seiten erscheinen dann auch im Cache ...

Für mich sieht das ein wenig so aus, alsob Google derzeit kein größeres Interesse hat, neue Seiten aufzunehmen sondern statt dessen irgendetwas "Neues" auf den alten Seiten sucht ... vielleicht wird eine neue Art von Daten für den neuen Algo gebraucht? ....

Ja, genauso sehe ich es auch. und wenn sich auf den unteren Seiten etwas ändert, merkt es Google nie. Ich bin schon dahin übergegangen geänderte Seiten auf der Home zu verlinken um es zumindest dem Freshbot zu zeigen...

Beitrag von **bruko** » 08.03.2004, 18:42

Hi,
ich habe eine sechs Wochen alte Domain, 4 Linkebenen tief - die 3.+4. Ebene wird via Sitemap zur 2. - und die Unterseiten werden in den letzten Wochen so im Schnitt 2x pro Woche geholt. Nach ca. 2 Wochen waren alle Seiten im Index.
Allerdings bekam die Domain erstmal PR5 über permanenten redirect

Beitrag von **buttheads** » 08.03.2004, 19:21

@bruko

Sind die Seiten nachhaltig indexiert oder - so wie bei mir - nur jeweils ein paar Tage nach dem Freshbot-crawl dort? Gerade bei "neueren" Domains (die viele Seiten erst NACH dem letzten BL-update bekommen haben) bekomme ich täglich (!) unterschiedliche Angaben bei der google-Nachfrage Site:www.domain.de. Viele Seiten sind für ein paar Tage drin und verschwinden dann wieder bis zum nächsten Crawl fresh-crawl ... vielleicht hast du auch nur Glück, das eine PR5 Domain einfach täglich von den fresh-bots gespidert wird?
Nachhaltig sind bei mir nur Seiten im Index, die bereits vor dem letzten Backlink udate indexiert waren. Selbst mit einzelanmeldungen von (richtigem content-) Seiten werden aktuell keine neuen Seiten nachhaltig genommen.

Deshalb bin ich so gespannt auf das neue BL-Update ... vielleicht werden die neuen Seiten, die Google schon einmal eingelesen hat - dann "eingepflegt

Beitrag von **bruko** » 08.03.2004, 19:37

buttheads hat geschrieben:@bruko
Sind die Seiten nachhaltig indexiert

inzwischen ja, beim ersten Spidern waren sie auch nur 1-2 Tage im Index, nach dem zweiten Spidern wurde es dann konstant.

Beitrag von **Klaus** » 08.03.2004, 19:49

Ich bin schon dahin übergegangen geänderte Seiten auf der Home zu verlinken um es zumindest dem Freshbot zu zeigen...

So habe ich es auch gemacht. Und trotzdem hatte ich jetzt wohl das Problem, das ich oben beschrieb.

Liegt vielleicht doch an diesen Frames! ?! !

Beitrag von **johndoe** » 09.03.2004, 05:25

Das Problem habe ich in der Tat auch. Die erste Seite eines Projekts ist meistens sehr schnell drin - dann aber gibts das eine oder andere Problem. Vor allem bei variablengesteuerten Seiten.

Beitrag von **tron** » 09.03.2004, 12:00

Seit einigen Wochen kommt Google auch bei mir nicht mehr zum Deepcrawl. Ich habe zwar fast täglich den Freshbot auf meiner Seite (knapp ein Jahr alt, PR5) aber er nimmt nur max 20 Seiten mit.

Andere Kollegen kennen das Problem und ihr hier wie ich jetzt sehe auch. Bei WMW gibt es imo auch 2 Threads zu dem vermeindlich faulen GoogleBot im Moment.. Ich wollte eigentlich auch schon vor zwei Wochen hier einen Thread darüber eröffnen.

Nun hat's jemand anderes getan, ich hoffe dass wir ne passable Erklärung finden werden.

Also Thesen:
-Google spart sich den Traffic und damit das Geld (schwachsinn, weil es kostet eigentlich fast nix für Google)
-Google will keine neuen Seiten im Moment sondern lieber alte Seiten Updaten / Google zieht sich Daten für einen neuen Algo - vernachlässigt intensiveres Spidern.

usw.

Grüße Tron.