wie bekommt man URLs mit parameter aus dem Index

[piou]

Hallo,

mein Problem ist, dass ich in den WMT viele urls mit doppelter meta Beschreibung habe. Diese urls unterscheiden sich nur durch einen Parameter, z.b. language=

nun landen solche urls leider auch im Index was natürlich DC erzeugt.
( geprüft durch: site:www.domain.com inurl:language )

all dies passiert obwohl:

* die seiten den canonical tag OHNE die parameter im source hat
* die parameter in den WMT bei Parameterbehandlung auf IGNORIEREN sind
* die urls ohne parameter in der xml-sitemap stehen

wie bekomme ich nun diese parameter-urls aus dem index?

würde ein redirect was bringen? oder würde dieser mehr schaden anrichten? (nat. existieren auch backlinks mit parametern)

kann was per robots.txt gemacht werden?

gruss

[chris21]

wie bekomme ich nun diese parameter-urls aus dem index?

würde ein redirect was bringen? oder würde dieser mehr schaden anrichten? (nat. existieren auch backlinks mit parametern)

kann was per robots.txt gemacht werden?

zu 1: Über 2 und/oder 3, und danach über Geduld, denn die parametisierten URLs müssen auch wieder von'm Bot gespidert werden, um rauszufliegen.

zu 2.: Sofern der Inhalt mit Parametern der Gleiche ist wie ohne, dann natürlich per Mpd-Rewrite und HTTP Status Code 301 die Parameter kicken.

zu 3.: Bei Google hilft bei mir tatsächlich auch eine intelligente Robots.txt, um Parameter aus dem Index zu halten. Bei anderen SuMas ist man hier eingeschränkt.

[piou]

hi chris21,

danke für deine antwort!

zu 1: Über 2 und/oder 3, und danach über Geduld, denn die parametisierten URLs müssen auch wieder von'm Bot gespidert werden, um rauszufliegen.

meinst du hier über redirect und robots.txt

zu 2.: Sofern der Inhalt mit Parametern der Gleiche ist wie ohne, dann natürlich per Mpd-Rewrite und HTTP Status Code 301 die Parameter kicken.

aber was passiert mit den backlinks mit parametern falls diese per 301 weitergeleitet werden? werden die von G dennoch gezählt?

zu 3.: Bei Google hilft bei mir tatsächlich auch eine intelligente Robots.txt, um Parameter aus dem Index zu halten. Bei anderen SuMas ist man hier eingeschränkt.

was ist eine intelligente robots.txt?
kann man in der robots.txt mittlerweile wildcards benutzten?

z.b. Disallow: /folder/*?language=

[chris21]

zu 3: Ja und Nein: Für Google kannst Du genau solche intelligenten Wildcards in der Robots.txt verwenden. Für andere SuMas nur eingeschränkt.

zu 2: wenn der Redirect ordentlich über einen 301 läuft, wird auch der Backlink weitergegeben.

[piou]

zu 3: Ja und Nein: Für Google kannst Du genau solche intelligenten Wildcards in der Robots.txt verwenden. Für andere SuMas nur eingeschränkt.

wie funktioniert das mit den wildcards?

geht das so:
Disallow: /*?parameter=
Disallow: /*&parameter=

irgenwie finde ich keine verlässlichen infos zum thema!

robots.txt hindert doch nur den crawler am besuch, in den index kann die seite dennoch kommen - oder irre ich hier?

gr

[chris21]

https://www.google.com/support/webmaste ... 40360&rd=1 - dort unter "Eine Robots.txt manuell erstellen" findest Du Infos von Google zu Suchmustern, die in der Robots.txt verwendbar sind.

Inzw. spricht Google davon, dass man zusätzlich ein noindex haben sollte, um Seiten nicht im Index zu haben.

Ich habe bisher tatsächlich DC über Parameter immer noch über intelligente Robots.txt Anweisungen verhindern können. Also scheint Google dort noch drauf zu achten.