LinkURL von Partnerseite wird von Google ungewollt indexiert

[weaselmetal]

Hallo Leute,

ich habe da ein Problem, bei dem ich mir nicht ganz sicher bin, was dagegen zu tun ist.

Wir haben eine Website erstellt auf die verschiedene Affiliate Partner verlinken. Ein Partner verlinkt z.B. mit folgender URL auf unserer Webseite: www.oursite.com/?partner=123

Wir verwenden den Parameter einerseits für Statistiken, zum anderen erhalten Internetsurfer die von Partnerseiten kommen spezielle Angebote.

Und da liegt das Problem.

Gibt man im Google den Firmennamen ein (oursite) wird in den Topergebnissen die URL mit der Partner ID hinten dran angezeigt. Das ist denkbar schlecht für uns, da dann jeder der die angezeigte URL aufruft das spezielle Angebot erhält das eingentlich nur von Partnersites kommende User erhalten sollten.

Jetzt die eigentliche Frage:
Nützt es etwas, wenn ich auf oursite.com die URLs die nicht indexiert werden sollen in der robots.txt vom Indexieren ausschließe?

Ich bin mir nicht sicher ob das so funktioniert. Dabei möchte ich auch nicht, dass die Startseite ohne Parameter dann auch nicht mehr indexiert wird.

Ich wüsste gerne eure Meinung dazu.

[Jojo]

Ich meine hier mal gelesen zu haben das das mit Parametern in der robots.txt nicht funktioniert? Was du aber zumindest machen kannst ist die unerwünschten Seiten über die Meta-Tags von der Indexierung auszuschließen, das sähe dann so aus:
<meta name="robots" content="noindex">
Ich kann da zwar keine eigenen Erfahrungen vorweisen, aber das wäre ein Anfang. Zur robots.txt kann ja vielleicht noch jemand anderes etwas beisteuern.

[SloMo]

Oder Du leitest die Parameter-Links per 301 oder Meta-Refresh weiter auf die parameterfreie URL. Die Partner-ID kannst Du Dir vielleicht per Cookie merken.

Gruß, SloMo

[weaselmetal]

Also die Datei selber kann ich nicht ausschließen, weil es sich dabei um die Startseite (default.aspx) handelt.

Das mit der Weiterleitung wäre vermutlich eine Alternative.

Ich habe jetzt in der robots.txt folgendes eingetragen:

Disallow: /?partner

Aber ich checke gerade noch im Google ob das gültig ist.

[Jojo]

Vielleicht ist das hier für dich von Interesse. Demnach gäbe es zumindest für Google eine einfache Lösung:
https://www.seobook.com/archives/001329.shtml

[Christophe]

Eine 301-Weiterleitung ist sinnvoll, das Teil per robots.txt ausschließen nicht.

RewriteCond %{HTTP_USER_AGENT} bot|crawler|slurp|teoma [NC]
RewriteCond %{QUERY_STRING} (.*)partner=[a-zA-Z0-9]*(.*)
RewriteRule (.*) $1?%1%2 [L,R=301]

Mit diesem mod_rewrite-Fragment kann man einzelne Parameter für Bots entfernen. Etwas ähnliches benutze ich um sids zu entfernen.

Gruß,
Christophe

[weaselmetal]

Googles Seite ist sehr interessant diesbezüglich.
Auch gleich in deine News übernommen du Fuchs du!

Also meine robots.txt sieht jetzt folgendermaßen aus:

User-agent: *
Disallow: /?partner

Da ja das Fragezeichen ein gültiges Zeichen in einer URL ist, glaube ich, dass ich mit oben angeführter robots.txt alle Bots davon abhalten kann, die URL www.oursite.com/?partner=xxx zu indexieren.
Ich habe nirgends einen Hinweis finden können, dass es so nicht funktionieren wird. Das Fragezeichen ist ja in dem Sinn keine Wildcard und müsste deshalb für alle Bots funktionieren.

Seht ihr das anders?

PS: Hab grad gesehen dass es www.oursite.com wirklich gibt. Wir haben mit der Website natürlich nichts zum tun, war nur so als Beispiel.

[Jojo]

Musst mal ausprobieren ob es funktioniert. Ich denke es könnte nicht schaden zusätzlich noch folgendes mit reinzunehmen:

User-agent: Googlebot
Disallow: /*partner=

[D@ve]

Wäre es nicht das einfachste einfach, per Referer zu überprüfen ob der User von Google kommt? So könntest Du zB auch validieren ob er auch von der "richtigen" Partnerseite kommt.

Gruß, Dave