ich möchte in meiner robots.txt viele falsche Unterseiten (Fehler in einem Verzeichnis) vor der weiteren Indexierung ausschließen. Wirken sich diese vielen Einträge (10.000) auf die restlichen Url's bzw. deren Ranking aus.
Was sagt G. dazu wenn man plötzlich 10% (Größenordnung 10Tk von 100Tk Seiten) seiner Urls in der robots.txt für ihn "sperrt".
Werden unter den URL, die du sperren willst zur Zeit Dokumente mit Status Code 200 und internen Links auf anderen Unterseiten deiner Domain ausgeliefert? Haben diese eventuell sogar Backlinks von extern? Falls ja versuch es lieber mit "noindex,follow" auf diesen Unterseiten, da du sonst Linkjuice verlieren könntest. Alternativ könnte auch eine 301 Weiterleitung angebracht sein.
Falls es wirklich nur falsch zusammengesetzt URLs sind, die keine Inhalte, keine Backlinks und (ganz wichtig!) keine Rankings haben, kannst du sie per robots.txt ausschließen ohne mit negativen Konsequenzen rechnen zu müssen.
Also Backlinks kann ich ausschließen, denn die Seiten machen keinen wirklichen Sinn!
Das Problem ist, es wurden aus 50 falschen URls tausende, denn auf den Seiten wurden dynamisch andere Seiten erstellt mit unsinnigem Content! 301 macht auch keinen Sinn, denn es sind zuviele und vom Content gibt es kaum Alternativen, ausser alles auf die Startseite weiterzuleiten.
Aber Danke fürs Feedback, ich hoffe dass der Ausschluss der vielen Seiten keine negativen Auswirkungen auf meine anderen guten Seiten der Domain hat.
Ich würde nur Impressum, Shoppingcart e.t.c. ausschliessen
und dann in den Webmastertools nachschauen was Goolge
als Doppelte Title e.t.c. bemängelt und dann das ausschliessen
was Google bemängelt.
E.v.t. auch in der htaccess z.b. "&language=" und den ganzen
sesion kram.
Gruß
Micha
Suche Linktausch zum Thema Mode. Bitte PM Backlink-Generator | Artikelverzeichnis | PageRank | SEnuke X
Don't smoke, don't fight, don't light no cigarettes,
Or else you'll wind up in the can!
No jokes, no rights, sit tight, don't fool around,
You are a guest of Uncle Sam!
AC/DC "I'll be damned"