Sessions vom Crawling aussperren

Beitrag von **da_killerk** » 05.05.2010, 10:40

Hallo,
ich möchte Sessions etc. vom Crawling durch die robots.txt aussperren.

User-agent&#58; googlebot
Disallow&#58; /*.html$

Ich würde dies mit folgendem Eintrag machen?

von **Anzeige von ABAKUS** »

Beitrag von **SloMo** » 05.05.2010, 11:10

Wow, die robots.txt-Syntax ist echt ekelig. Mischung aus DOS-Wildcards und Regex... quasi das Übelste aus beiden Welten.

Außerdem verschenkt man damit Linkjuice. Mein Favorit wäre, alle Sessions mit "noindex,follow" und sessionfreiem Canonical-Tag auszuliefern.

Dein Eintrag sieht syntaktisch richtig aus. Er weist Googlebot an, alle HTML-Dateien des Webspace auszuschließen.

Beitrag von **Nullpointer** » 05.05.2010, 16:04

die eleganteste lösung ist, wenn die eignesetzte software sessionsnur bei angemeldeten usern benutzt.
dann kann man das canonical tag verwenden und/oder in den webmastertools parameter ausschließen.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Mork vom Ork** » 05.05.2010, 16:18

Die sinnigste Lösung ist, mit dem Sessionkram gar nicht erst die URL vollzumüllen, denn er hat da nichts zu suchen und wird da auch nicht benötigt – Cookies gibt es seit bald 15 Jahren und so langsam wäre es Zeit, sie serverseitig auch einfach mal zu nutzen.
Der Besucher wiederum, der Cookies gänzlich verweigert, weiß, was er tut, und kann die Funktion bei Bedarf schnell aktivieren.

Kurzum: Für Session-URLs gibt es keinen Grund.

Beitrag von **SloMo** » 05.05.2010, 17:43

FULL ACK @Mork ...man könnte sagen: wie immer.

Beitrag von **SphaeroX** » 18.05.2010, 10:49

Ich würde es mit PHP regeln, wenn der USER-AGENT ein Crawler/Spider/Robot ist, dann gebe keine SessionID in Links aus. Oder habe ich da jetzt einen fehlgedanken?

Beitrag von **evel** » 25.05.2010, 16:14

Hallo,

habe das Problem, dass Ggle unsere Cookies irgendwie mit indexiert hat.
so wird nun in den Suchergebnissen
.de/?PHPSESSID=28964a5084ceb7b31f00b65756b9fd93
oder
.de/home_en.html?PHPSESSID=28964a5084ceb7b31f00b65756b9fd93
angezeigt.

Hat jemand eine Idde wieso es zur Indexierung der Cookies gekommen ist?

Cookie:
Name: PHPSESSID
Inhalt: 28964a5084ceb7b31f00b65756b9fd93
Senden für: Jeden Verbindungstyp
Gültig bis: am Ende der Sitzung