Sessions vom Crawling aussperren

[da_killerk]

Hallo,
ich möchte Sessions etc. vom Crawling durch die robots.txt aussperren.

Code: Alles auswählen

User-agent: googlebot
Disallow: /*.html$

Ich würde dies mit folgendem Eintrag machen?

[SloMo]

Wow, die robots.txt-Syntax ist echt ekelig. Mischung aus DOS-Wildcards und Regex... quasi das Übelste aus beiden Welten.

Außerdem verschenkt man damit Linkjuice. Mein Favorit wäre, alle Sessions mit "noindex,follow" und sessionfreiem Canonical-Tag auszuliefern.

Dein Eintrag sieht syntaktisch richtig aus. Er weist Googlebot an, alle HTML-Dateien des Webspace auszuschließen.

[Nullpointer]

die eleganteste lösung ist, wenn die eignesetzte software sessionsnur bei angemeldeten usern benutzt.
dann kann man das canonical tag verwenden und/oder in den webmastertools parameter ausschließen.

[Mork vom Ork]

Die sinnigste Lösung ist, mit dem Sessionkram gar nicht erst die URL vollzumüllen, denn er hat da nichts zu suchen und wird da auch nicht benötigt – Cookies gibt es seit bald 15 Jahren und so langsam wäre es Zeit, sie serverseitig auch einfach mal zu nutzen.
Der Besucher wiederum, der Cookies gänzlich verweigert, weiß, was er tut, und kann die Funktion bei Bedarf schnell aktivieren.

Kurzum: Für Session-URLs gibt es keinen Grund.

[SloMo]

FULL ACK @Mork ...man könnte sagen: wie immer.

[SphaeroX]

Ich würde es mit PHP regeln, wenn der USER-AGENT ein Crawler/Spider/Robot ist, dann gebe keine SessionID in Links aus. Oder habe ich da jetzt einen fehlgedanken?

[evel]

Hallo,

habe das Problem, dass Ggle unsere Cookies irgendwie mit indexiert hat.
so wird nun in den Suchergebnissen
.de/?PHPSESSID=28964a5084ceb7b31f00b65756b9fd93
oder
.de/home_en.html?PHPSESSID=28964a5084ceb7b31f00b65756b9fd93
angezeigt.

Hat jemand eine Idde wieso es zur Indexierung der Cookies gekommen ist?

Cookie:
Name: PHPSESSID
Inhalt: 28964a5084ceb7b31f00b65756b9fd93
Senden für: Jeden Verbindungstyp
Gültig bis: am Ende der Sitzung