Links mit SIDs aus dem Google Index bekommen?

[FEAnoR]

Moin,

ich habe hier 'nen Freund der leider SIDs verwendet hat, und die jetzt beseitigt wurden. Jetzt nur die Frage, wie bekommt man diese URLs, die ja bekanntlich für DC sorgen wieder aus dem Index? Kann man das einfach via robots.txt managen?

Beispiel: index.php?sid=8c44266d3f6f9caca6fb780a6f9cc1a7

Hat jemand einen Tipp?
Danke im Voraus,
Marco

[Chris2005]

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*sid*

sollte tun... Ist aber ungetestet...

Google Sitemaps bietet einen robots.txt Validator an... Vielleicht damit mal testen...

[bull]

Code: Alles auswählen

RewriteCond %{QUERY_STRING} sid
RewriteCond %{HTTP_USER_AGENT} Googlebot
RewriteRule .* http://%{HTTP_HOST}/? [R=301]

[FEAnoR]

Danke, Jungs!

[FEAnoR]

Sorry, muss doch nochmal fragen.

@bull

Code: Alles auswählen

RewriteCond %{QUERY_STRING} sid
RewriteCond %{HTTP_USER_AGENT} Googlebot
RewriteRule .* http://%{HTTP_HOST}/? [R=301]

Damit werden alle URLs explizit nur für den Googlebot umgeschrieben, weitere Änderungen am Code sind nicht notwendig?
Wenn ich die SIDs für alle User entfernen möchte, dann genügt es, wenn ich die zweite Zeile einfach weglasse? Oder ist QUERY_STRING nur auf die SERPS bezogen, damit der Googlebot weiss, dass die URLs umgezogen (301, moved) sind?

[bull]

Wenn ich die SIDs für alle User entfernen möchte, dann genügt es, wenn ich die zweite Zeile einfach weglasse?

Ja - wenn von den verwendeten PHP-Skripten ganz sicher kein sicher kein "sid" an die URL angehängt wird (da sonst u.U. Endlosschleife).

[Christophe]

Wenn du Session-Ids für alle Besucher deaktivieren willst, würde ich das direkt im Skript tun. Du hast sonst unnötig viele Hits auf deinem Webserver und das Surfen wird auch minimal verzögert.

Hier ist eine mod_rewrite-Variante, die andere Parameter beibehält:

Code: Alles auswählen

# sid=
RewriteCond %{HTTP_USER_AGENT} bot|crawler|slurp|teoma [NC]
RewriteCond %{QUERY_STRING} (.*)&sid=[a-zA-Z0-9]*(.*)
RewriteRule (.*) $1?%1%2 [L,R=301]

[FEAnoR]

Danke, Christophe! Das wäre ich jetzt mal testen.