Nach großem Update werden Unterseiten nicht mehr gespidert

[Fisch]

Hallo!

Nach langem, erfolglosem Warten und Tee trinken erhoffe ich mir nun den entscheidenden Tipp von diesem Forum hier.

Folgendes Problem:

Habe ein sehr umfangreiches Portal mit über 100.000 Seiten, die auch anfangs einwandfrei gespidert und indexiert wurden. Hatte nach den ersten zwei PR-Updates bereits einen guten PR auf der Startseite und entsprechend auch PR auf allen Unterseiten. Nach einigen Monaten habe ich dann ein recht großes Update vollzogen, bei dem ein komplett neuer Bereich mit vielen tausend Seiten hinzugekommen ist. Nach dem Update ist es dann den Bach runter gegangen und es wurde plötzlich nur noch die Startseite gespidert und im Google Index aktualisiert, keinerlei Unterseiten mehr. Dieser Zustand hält heute immer noch an, fast 1 Jahr nach dem großen Update von mir!

Die Domain ist definitiv nicht verbrannt, denn die Startseite ist wie gesagt nach wie vor ständig mit aktuellem Datum in der site: Abfrage zu sehen. Auch fast alle anderen Unterseiten von damals sind noch samt Title und Beschreibung in den Ergebnissen bei der site: Abfrage, aber diese werden seit dem Update nicht mehr aktualisiert. Ein Großteil der Unterseiten existiert nämlich eigentlich lange nicht mehr und wird dort trotzdem noch angezeigt. Die Startseite hat auch immer noch ihren alten PR (es kommen auch regelmäßig neue Backlinks hinzu), aber alle Unterseiten haben PR0, da sie ja nicht mehr von Google besucht werden.

Weiss echt nicht mehr, wie ich Google noch dazu bewegen kann, außer der Startseite auch mal wieder die Unterseiten abzugrasen, die alle wunderbar von der Startseite und über Sitemaps verlinkt sind.

Habe schon daran gedacht, das komplette Portal freiwillig aus dem Google Index zu entfernen und dann halt die 6-monatige Aufnahmesperre abzuwarten, in der Hoffnung, dass es dann für mich nochmal von ganz vorne losgeht. Hat von Euch schonmal jemand seine Website freiwillig aus dem Index entfernt, um sozusagen einen "Neuanfang" zu starten? Wenn ja, hat das mit der Wiederaufnahme nach den 6 Monaten auch geklappt und war danach alles wieder in Ordnung?

Für nützliche Tipps und Ratschläge wäre ich dankbar...

[Hasso]

Guten Abend und willkommen hier im Forum.

Das mit dem "Neuanfang" kann ich Dir gleich abraten, es wird hier tatsächlich "ausgeblendet", das ist keine richtige Lösung. Obwohl Du es so ausführlich beschrieben hat, fällt es mit schwer hilfreiche Tipps zu geben. Es kann an vielen Gründen liegen. konkrete Angabe der Domain wäre vom Vorteil, natürlich wenn Du es magst.

Grüsse
Hasso

[Fisch]

Schade, hatte mir doch einiges mehr von diesem Forum erwartet, aber scheinbar ist meine Problemstellung eine Nummer zu hoch. Da wird lieber in jedem dritten Thread über bevorstehende PR-Updates spekuliert. Bitte nicht böse sein, aber das Forum hier hat wirklich schon bessere Zeiten erlebt...

[bydlo]

ein forum ist immer so gut oder schlecht wie seine user , zu denen auch du gehörst.

erwartest du von deinem arzt auch eine diagnose per telefon?

[slinky]

Probiers mal mit ein paar guten Backlinks direkt auf Unterseiten, und nicht immer nur auf die Startseite.

[marle]

Wenn die Unterseiten PR0 haben werden Sie auch besucht. Ansonsten wären Sie unranked.
Welches Cache Datum haben denn die Unterseiten. Ist der Bot aktiv auf deinen Seiten? Welchen PR hat deine Startseite? Wie verhalten sich die anderen SuMa's? Wieviele Backlinks hast du?

Gruss

[oldInternetUser]

Gut, dann schreibe ich die Antwort, die ich mir vor ein paar Tagen verkniffen habe.

Habe ein sehr umfangreiches Portal mit über 100.000 Seiten

ein recht großes Update vollzogen, bei dem ein komplett neuer Bereich mit vielen tausend Seiten hinzugekommen ist

plus die Tatsache, daß keine Url angegeben ist:

Das hört sich nach Content an, den es bereits an anderen Stellen diverse Male gibt, der also multipel im Web vorhanden ist.

Gut, daß google das rausgekickt hat, das ist nur zu begrüßen.

Weitere Fragen???

aber scheinbar ist meine Problemstellung eine Nummer zu hoch

Alle paar Wochen kommen Leute mit genau solchen Problemen, keiner hat Lust, jedesmal dasselbe zu schreiben. Du solltest also erst einmal ein Jahr mitlesen, bevor Du solche Aussagen triffst.

[zottel]

hoert sich fuer mich eher so an wie "Nun haelft mir schon ist doch das Forum hier muss ich ja nur mein Probleme beschreiben und die Lösung wird Freihaus geliefert"

Was bisher geschrieben wurde ist die einfachste und beste loesung fuer dein probleme.

aus deinen eingangsthread lese ich herraus das du ziemlich viel dich damit beschaftigt hast,aber glaube das du den wald vor baeumen nicht siehst.

Wenn der Index gespidert wird und die Domain weder gespeert ist oder gebannt gibt es nicht allzuviele möglichkeiten.

Alles was mit dem INDEX zutun hat muss du checken egal wiebloed es sich ahoert.selbst ein fehler inder robot.txt kann dir sie suppe versalzen.mode und .htacces und die ganzen Spielereien werden dein Probleme loesen.

Meist ist es sowas einfaches das man nicht drauf kommt weil man ja so ein toller webmen is.

[abaton]

Kopiere alle Seiten doch mal runter und lade sie neu hoch. Wenn sie ein neues Datum haben, könnte es sein, dass Google sie wieder erkennt.
Ein VErsuch ist es ja wert.

Am besten die Unterseiten ändern, aktualisieren, dann hat es vielleicht auch einen Sinn sie zu listen

Es stellt sich wohl auch die Frage, wenn die Seiten eh nicht aktuell sind und womöglich keine Besucher mehr haben, warum bist Du dann geil drauf sie in Google zu sehen.

Was sagen denn Deine Logfiles. Haben die Seiten noch Besucher? Wenn nicht, ist PR0 doch ok!

[seobusiness]

Schade, hatte mir doch einiges mehr von diesem Forum erwartet, aber scheinbar ist meine Problemstellung eine Nummer zu hoch. Da wird lieber in jedem dritten Thread über bevorstehende PR-Updates spekuliert. Bitte nicht böse sein, aber das Forum hier hat wirklich schon bessere Zeiten erlebt...

ohhhh..., eine sehr qualifizierte aussage.
wenn du ein wenig mehr vorausschauend deine gedanken geordnet hättest, dann hättest du sicher auch daran gedacht ein paar mehr informationen zu veröffentlichen.

gruss

[Fisch]

@slinky
Wenig bis garkeine Backlinks direkt auf Unterseiten schließe ich als Ursache für mein Problem aus, da ich auch bei meinen anderen Websites immer nur auf die Startseite linken lasse und es bei diesen Websites auch keine Probleme gibt. Die interne Verlinkung ist außerdem sehr gut, so dass eigentlich keinerlei Probleme mit der Indexierung auftreten dürften.

@marle
Nein, die Unterseiten werden definitiv nicht mehr von Google besucht, das Cache Datum der Unterseiten ist auch von Juli 2005, also steinalt. Im August wurde außerdem ein Unterverzeichnis umbenannt. Die Änderung wurde aber bis heute nie in den Google Ergebissen sichtbar, d.h. die Seiten aus diesem Verzeichnis sind alle noch mit dem alten Verzeichnisnamen indexiert, obwohl diese Seiten schon seit der Umbenennung im August 2005 nicht mehr erreichbar sind. Das Cache-Datum der Startseite ist der 12. Februar 2006, also wie immer top aktuell.
Die Startseite hat einen PR von 5, die Backlinks wurden vom Sommer 2005 bis heute ca. verdoppelt, einen Backlink-Mangel schließe ich als Ursache definitiv aus. Mit Yahoo und MSN gibt es übrigens keine Probleme.

Fakt ist: die Startseite hat einen PR5, sie wird regelmässig von Google aktualisiert, ansonsten werden keine weiteren Seiten aktualisiert, geschweige denn neue Unterseiten in den Index aufgenommen. Die derzeit im Index vorhandenen Seiten sind 7 Monate alt. Seltsam ist halt, dass die Anzahl der indexierten Seiten kein bisschen weniger wird, es fliegen also nicht nach und nach alle Unterseiten aus dem Index heraus, obwohl sie nicht mehr besucht werden. Es hat sich an den Ergebnissen der site: Abfrage praktisch seit nem halben Jahr absolut nichts geändert!

[oldInternetUser]

Eine Domain, bei der nur noch die Startseite besucht wird, ist tot, eine Leiche.

Das ist auch zu erwarten, wenn es den Content auf anderen Domains gibt.

[order4you]

versuch es doch mal mit url posten, würde bestimmt den ein oder anderen hier weiterhelfen

ansosten wie siehts aus mit einer google-sitemap ? haste sowas schon eingerichtet ? da kannst du dann auf jeden fall erkennen ob der googlebot auf deinen unterseiten war und wann. und was noch günstiger ist er steigt dann glaube nicht immer über die startseite ein sondern über die sitemap.

ansonsten wie oben schon gesagt robots.txt haste da vieleicht ein fehler drin ?
oder ganz einfach vergessen auf der startseite die metatags zu setzen (index=follow) damit kann man den googlebot ja auch aussperren

sind nur erfahrungen die ich selber mal gesammelt habe bei meinen projekten bin keine seo experte, aber vieleicht hilft es dir

[bbnetch]

@slinky
Wenig bis garkeine Backlinks direkt auf Unterseiten schließe ich als Ursache für mein Problem aus, da ich auch bei meinen anderen Websites immer nur auf die Startseite linken lasse und es bei diesen Websites auch keine Probleme gibt. Die interne Verlinkung ist außerdem sehr gut, so dass eigentlich keinerlei Probleme mit der Indexierung auftreten dürften.

heisst fuer mich fast, nein ich lass mir nicht helfen, ich weis es besser

so dass eigentlich keinerlei Probleme mit der Indexierung auftreten dürften.

aber sie tun es

also verlink die unterseiten mal bischen, damit der spider mal drauf aufmerksam wird, gerade wenn man doch 100 000 seiten hat, ist es doch hoechst merkwuerdig, das kein link auf die zeigt aber 100te andere auf die hauptseite.