Session-Ids, dynamische URLs: Nachgefragt

[whobee]

Hallo,

ich habe da so meine Probleme mit der Positionierung meines "Ladens" in den SERPs...
Zugegebener Maßen muß ich mich als Newbe outen, auch wenn ich mittlerweile schon Einiges gelernt habe...
Zuerst möchte ich noch zu meiner Ehrenrettung vorausschicken, daß die betreffende Applikation schon entwickelt wurde, als man Google noch für ein lustige Wortschöpfung hielt...
Meine Problemstellungen sind manigfaltig: Angefangen von statischen Headern,statischen Metatags praktisch ohne Inhalt, äüßerst plakative Aufmachung, die außer einen Haufen Grafiken eigentlich keinen Content bietet, dynamischen Urls, die teilweise mit unterschiedlichen Parametern auf die selben Inhalte linken,usw,usf... ..bis hin zum eigentlich, meiner Ansicht nach immer noch größten Problem:
---------------
SESSION-IDs !!!
---------------
"Die Session-ID muß raus aus dem URL, egal wie.." hat mir dazu ein SEO geraten. Nur wie, daß konnte er mir nicht so genau erklären,
Nachdem ich erwähnt hatte, daß meine Kunden wahrscheinlich ungern auf die mitlerweile vorsichtig gesschätzen 30 % aller Kunden, die Cookies blocken, verzichten wollen, ganz abgesehen davon, daß bei uns Tracking-Systeme auf die Vergabe von Session-IDs aufsetzen und dies und das, was soll ich sagen...
("Oh mannnn! Wieder einer der mod_rewrite noch nicht implementiert hat !")
Ehrlich gesagt war und ist das der Plan (zumindest bis zu dem Tag, an dem Google beschließt, auch solche Seiten vernüftig zu crawlen, die keine extra für Google mundgeklöppelten und keyword-optimierte URLs enthalten und die wie Verzeichnisse aussehen müssen)
Aber die Umbaumaßnahmen scheinen umfangreich und der Platz für Konsolidierung ist klein.
Zudem komme ich auch mit mod_rewrite nicht wirklich um die Session-Thematik herum! Bitte lasst mich wissen, wenn ich hier eine Entwicklung verschlafen habe...
Wahrscheinlich wird mir jeder bestätigen, daß Googlebot Session-IDs verabscheut *wie die Pest* und praktisch keine Links verfolgt...
also was liegt näher als: Raus damit! Und wenn es nicht für alle geht, doch dann wenigsten für die Crawler...
Nach meinen bisherigen Erkenntnissen kam ich um eine Browserweiche nicht herum ("Cloaking-Alarm"!!!)
Das schien mir der sinnvollste Weg. In vielen Foren wird geraten, Spider, wenn überhaupt, an IP-Adressen oder Netzen festzumachen,
daß sei "sicherer"... Aber eigentlich will ich den Spidern gar nicht vorenthalten, daß ich meine Seite für sie "optimieren" will, zudem halte
ich es sowieso für irgendwie naiv zu glauben, daß man alle Google-Netzwerke kennt!?
Nicht zuletzt aufgrund der "Probleme" mit dem Spider "slurp", der uns, eigentlich löblicher Weise, mit phasenweise über 200K Visits
täglich die Bude einrannte (und dafür praktisch nicht listete... aber das ist eine andere Geschichte) hatte ich Handlungsbedarf:
Robots initialisieren jetzt keine Sessions mehr und dementsprechend gelten für den Robot auch gewisse Einschränkungen...
Mittlerweile habe auch einen "sehr pragmatischen Weg" gefunden, Session-Ids für Robots zu eliminieren..
Zudem versuche ich,überflüssige oder redundante Parameter in den URLs ( für Robots) mit 301 geradezubiegen.
Die URLs sind allerdings immer noch "dynamisch"...
Die Spider scheinen dies durchweg gut anzunehmen, insbesondere googlebot spidert, wenn auch zögerlich, aber
immerhin kontinuierlich meine Seiten, zumindest auf den ersten Blick zu meiner Zufriedenheit..

Allerdings scheint die Anzahl der letztlich bei Google gelisteten Seiten auf ein gewisses Maß begrenzt, in meinem Fall so etwa bei 20 000...

Und schon bin ich bei meinen Fragen:

Ist daß Cloaking? Ich zeige dem Bot je keine "anderen" Inhalte (nebenbei bemerkt ist ja auch abakus-internet-marketing recht gut gelistet,
an der Browserweiche kann es also nicht liegen )

Sind Seiten mit Urls der Form "/bla.script?p1=pe1&p2=pe2" wirklich derart benachteiligt?
Gibt es nach euren Erfahrung hier eine Bremse??

Bei immer mehr Seiten sehe ich so etwas wie
/key-word/keyword.html;session-id=4938403
(Nach Aussagen von Google ist ja dynamisch, "was das Zeichen '?' im Url enthält" !?!? (Google-Informationen für Webmaster))
Ist so ein URL dann aus Google-Sicht nicht "dynamisch" ?

Kann mir jemand sagen,

warum Seiten in den SERPS Seiten erscheinen, die per robots.txt ausgeschlossen sind und nachweislich nicht einmal (von Googlebot) requested wurden?

WELCHEN SINN MACHT DAS ? ( ...vor allem das...)

warum Google dynamische URLs nicht normalisiert, die sich lediglich in der Parameterreihenfolge unterscheiden?
(werden offensichtlich doppelt gelistet)

ob ich auf diesem Weg überhaupt ein Chance habe ???????

Vielen Dank für Euer Feedback

Gruß
whobee

Site-info:PR6,BL:739

(@southmedia, den ich sicher auf den Plan gerufen habe: Eigentlich wollte ich nur zwei Fragen posten, aber irgendwie ....

[Southmedia]

Ist daß Cloaking? Ich zeige dem Bot je keine "anderen" Inhalte (nebenbei bemerkt ist ja auch abakus-internet-marketing recht gut gelistet, an der Browserweiche kann es also nicht liegen )

Der technsichen Definition nach ist es Cloaking - ja. Aber Cloaking ist nicht per Definition schlecht.

Sind Seiten mit Urls der Form "/bla.script?p1=pe1&p2=pe2" wirklich derart benachteiligt?
Gibt es nach euren Erfahrung hier eine Bremse??

Sagen wir es so: Mit anderen, schöneren URLs kommt man sicherlich besser voran.

Bei immer mehr Seiten sehe ich so etwas wie
/key-word/keyword.html;session-id=4938403
(Nach Aussagen von Google ist ja dynamisch, "was das Zeichen '?' im Url enthält" !?!? (Google-Informationen für Webmaster))
Ist so ein URL dann aus Google-Sicht nicht "dynamisch" ?

Das ist meine Meinung nach Müll, wirklich dynamsiche Daten sollen auch als solche Erkennbar sein. Ein solches Vorgehen hier produziert noch viel mehr nicht verwertbare Seiten für den Crawler.

Kann mir jemand sagen,

warum Seiten in den SERPS Seiten erscheinen, die per robots.txt ausgeschlossen sind und nachweislich nicht einmal (von Googlebot) requested wurden?

WELCHEN SINN MACHT DAS ? ( ...vor allem das...)

Was meinst du mit "SERPS Seiten" und mit "erscheinen"? Eine Suche mit "site:domain.de" ist klar von einer Suche nach "keyword" zu unterscheiden, und erscheinen kann dann entweder die Seite mit Titel und Textsnippet oder nur die URL.

warum Google dynamische URLs nicht normalisiert, die sich lediglich in der Parameterreihenfolge unterscheiden?
(werden offensichtlich doppelt gelistet)

Weil auch eine Parameterreihenfolge Einfluss auf die Seite haben könnte - und das nicht nur offensichtlich, sondern auch weit im Hintergrund.

ob ich auf diesem Weg überhaupt ein Chance habe ???????

Sicher.

[whobee]

Hallo Jan,

vielen Dank für die schnelle Antwort.

Was meinst du mit "SERPS Seiten" und mit "erscheinen"? Eine Suche mit "site:domain.de" ist klar von einer Suche nach "keyword" zu unterscheiden, und erscheinen kann dann entweder die Seite mit Titel und Textsnippet oder nur die URL.

Da habe ich mich vielleicht etwas unglücklich ausgedrückt:

Im Index von Google werden URLs (also ohne Snippet, eben nur blanke URLS) gelistet, deren Script-Name ich per
robots.txt ausgeschlossen habe. Das für mich erstaunliche war, das diese URLs auch nie requested wurden.

Offensichlich werden auch per robots.txt ausgeschlossene URLs einfach mal so in den Index geworfen, ohne sie zu
prüfen und da stellt sich mir schon die Frage nach der Sinnhaftigkeit.

Natürlich sehe ich diese URLs nur mit der suche nach site:<domain>. Inhalte werden wohl, so hoffe ich, keine
gespeichert (was auch? Dieses Script gibt nix aus)

Ich glaube aber, schon eine mögliche Ursache identifiziert zu haben: Die benanten URLs sind über
Grafiken verlinkt, deren Alt-Tag mit dynamischem Text versorgt wird. (Das habe ich im Versuch getan, die Keyword-Dichte zu erhöhen)
Nach meinen Erfahrungen nimmt der Googlebot die Einträge in der robots.txt eigentlich sehr ernst, wenn es allerdings keywords gibt ...

Grundsätzlich frage ich mich schon, warum Google überhaupt URL listet, für die keine Inhalte gespeichert werden,
aber womöglich werden wie das nie vollumfänglich erfahren

Weil auch eine Parameterreihenfolge Einfluss auf die Seite haben könnte - und das nicht nur offensichtlich, sondern auch weit im Hintergrund.

Das verstehe ich nicht. Meinst du damit, die Reihenfolge der Parameter hat Einfluss auf das Ranking der Seite? Die Reihenfolge der per "GET" geschickten Variablen (gilt sicher auch für POST) ist zumindest dem Script doch völlig einerlei unter der Voraussetzung, daß diese auch richtig ausgewertet werden.
Und was meinst du mit "weit im Hintergrund"?

Viele Grüße
whobee

[Jojo]

Ich denke in Hinblick auf die Links bist du schon auf der richtigen Spur. Meine Erfahrung ist das Google jeden Link in seinen Index aufnimmt bei Sperrung durch robots.txt aber die Seite nicht spidert und so dann zum Beispiel kein Cache zu finden ist. Zumindest bei einer site-Abfrage sind diese aber dann doch leider zu finden. Und man kann das auch präzisieren mit zum Beispiel: site:domain.de +verzeichnisnameX
Das gefällt mir schonmal überhaupt nicht. Diese Seiten werden sogar bei einer normalen "verzeichnisnameX"-Abfrage gefunden. Man dürfte allerdings im Normalfall nur bei recht obskuren Verzeichnisnamen zu finden sein, andernfalls sollte man beim Ranking keine Chance haben.

Zur Session:
Diese ist in der Tat Gift für Google. Ich nutze da problemlos die Useragent-Abfrage um den Googlebot zu erkennen und ihm entsprechend keine Session zu geben. Natürlich sollte man ihm aber trotzdem die selben Inhalte zeigen wie einem normalen nicht eingeloggtem Besucher. Und dies ist laut Google dann auch okay.

[Kristian]

Hallo

Zum Thema Session-ID:
Es muß klar sein, dass Bots bei jedem Neuspidern einer Seite eine neue ID zugewiesen bekommen. Alle Links der gerade gespiderten Seite haben diese neue ID. So schafft man eine Bot-Falle, da durch ewig neue ID's ständig neue Seiten produziert werden. Es gibt wohl keinen Bot der da so schnell wieder rauskäme.

Ich habe es in meinem Shop (Perl) damals so gelöst, das es ein Modul gab, welches Bots erkannte. In dem Falle wurde dann die Session-ID durch einen fixen Wert ersetzt.
Eine andere Möglichkeit gibt es wohl nicht.

Gruß Kristian

[whobee]

Hallo,
vielen Dank für euer Feedback!
@jojo

Das gefällt mir schonmal überhaupt nicht. Diese Seiten werden sogar bei einer normalen "verzeichnisnameX"-Abfrage gefunden. Man dürfte allerdings im Normalfall nur bei recht obskuren Verzeichnisnamen zu finden sein, andernfalls sollte man beim Ranking keine Chance haben.

Da bin ich ganz deiner Meinung und ich habe es eben selbst ausprobiert: Bei einer Suchanfrage nur nach dem fraglichen (in meinen Fall) Script-Namen (will sagen ohne site: Parameter) erhalte ich:
Ergebnisse 1 - 2 von ungefähr 10.200 Treffer!?
Nicht daß es mich wirklich belastet, aber da geht einfach meine akademisches Interesse mit mir durch und ich stelle mir nach wie vor die Frage: Warum ist das so??!? Ich kann den tiefern Sinn darin wirklich nicht erkennen! Der Index, dessen Qualität Google ja zu Recht absolute Priorität einräumt, wird durch solche unnütze und zudem auch excludierte URLs zugemüllt....

@southmedia:

Eine Suche mit "site:domain.de" ist klar von einer Suche nach "keyword" zu unterscheiden, und erscheinen kann dann entweder die Seite mit Titel und Textsnippet oder nur die URL.

Offensichtlich werden die URLs auch bei der Eingabe eines Keywords gelistet, ohne site: Parameter . Wenn mein fragliches Script beispielsweise reisen.pl heisst, werde ich bei der Eingabe von "Reisen" auch irgendwo meinen hässlichen URLs wiederfinden .... wenn auch gaaaanz weit hinten!

@Kristian:

Ich habe es in meinem Shop (Perl) damals so gelöst, das es ein Modul gab, welches Bots erkannte. In dem Falle wurde dann die Session-ID durch einen fixen Wert ersetzt.
Eine andere Möglichkeit gibt es wohl nicht.

In meiner "ersten Ausbaustufe" hatte ich den identifizierten Robots eine statische Session-Id verpasst, nicht zuletzt auch deswegen, damit die Systeme kompatibel bleiben.... Der MSN-Bot beispielsweise hat dies bedingunglos geschluckt, aber bei Google kam ich damit vom Regen in die Traufe... Die Crawling-Aktivitäten und die Anzahl der gelisteten Seiten im Index wanderten gegen Null! Es lag wohl auch am Wert der statischen ID, der mit einer Länge von 32 Byte von Google einfach per se schon mal als Session-Id oder "sonstigem Unfug" gehandhabt wird.

Bei mir wurde es erst besser, als ich den Wert durch einen beim besten Willen nicht mehr als Session-ID zu interpretierenden Wert ersetzt habe.

Welchen fixen Wert hast du denn verwendet?

Viele Grüße von hier
whobee

[Southmedia]

Im Index von Google werden URLs (also ohne Snippet, eben nur blanke URLS) gelistet, deren Script-Name ich per robots.txt ausgeschlossen habe. Das für mich erstaunliche war, das diese URLs auch nie requested wurden.

Sobald eine Seite irgendwo verlinkt wurde, wird die URL als Vermerk in den Index von Google aufgenommen. Spricht dann nichts gegen eine Indexierung (robots.txt, 404) wird die Datei gespidert und auch bei normalen Suchergebnissen präsentiert.

Einfach: Wenn eine URL verlinkt ist, kann sie auch im Index auftauchen.

Das verstehe ich nicht. Meinst du damit, die Reihenfolge der Parameter hat Einfluss auf das Ranking der Seite? Die Reihenfolge der per "GET" geschickten Variablen (gilt sicher auch für POST) ist zumindest dem Script doch völlig einerlei unter der Voraussetzung, daß diese auch richtig ausgewertet werden.
Und was meinst du mit "weit im Hintergrund"?

Theoretisch ist es möglich dass ich in meinem Skript Sachen von der Reihenfolge der Parameter abhängig mache. Google setzt vermutlich darauf, dass 2 URLs erstmal nur dann gleich sind, wenn sie gleich sind, sprich ein Stringvergleich erfolgreich ist.

[Kristian]

Hallo

Bei mir wurde es erst besser, als ich den Wert durch einen beim besten Willen nicht mehr als Session-ID zu interpretierenden Wert ersetzt habe.
Welchen fixen Wert hast du denn verwendet?

Ich habe damals das Wort "abraxas" benutzt. Das sollte so gut oder schlecht sein wie jedes andere Kunstwort, wobei eines das zur Shopthematik passt wäre besser...
Im Session-Modul war das dann auch leicht als "Nicht-Session" erkennbar.
Gruß Kristian

[whobee]

Hallo,

@southmedia:

Sobald eine Seite irgendwo verlinkt wurde, wird die URL als Vermerk in den Index von Google aufgenommen.Spricht dann nichts gegen eine Indexierung (robots.txt, 404) wird die Datei gespidert und auch bei normalen Suchergebnissen präsentiert.

Hm.... es spricht doch etwas gegen die Indexierung: Exclusion durch robots.txt und 404 liefert das Script auch nicht zurück. Aber das kann der Bot ohnehin ja gar nicht wissen, schliesslich hat er den Request nie ausgeführt... naja, zumindest hat er sich nicht identifiziert.


@jojo

Das gefällt mir schonmal überhaupt nicht. Diese Seiten werden sogar bei einer normalen "verzeichnisnameX"-Abfrage gefunden. Man dürfte allerdings im Normalfall nur bei recht obskuren Verzeichnisnamen zu finden sein, andernfalls sollte man beim Ranking keine Chance haben.

Ich habe jetzt beschlosssen, mir die ganze Sache zunutze zu machen: Es läuft gerade gut und ich habe schon über 30K dieser toten Links im Index (Tendenz stark steigend!) Sollte tatsächlich mal einer drüber stolpern landet er auf der Startseite.. hoffenlich wird mir das nicht mal als Spam ausgelegt!


@southmedia:

Theoretisch ist es möglich dass ich in meinem Skript Sachen von der Reihenfolge der Parameter abhängig mache.

Da hast du natürlich recht!

Google setzt vermutlich darauf, dass 2 URLs erstmal nur dann gleich sind, wenn sie gleich sind, sprich ein Stringvergleich erfolgreich ist.

Ja scheint ganz so!? Allerdings hatte ich in meiner naiver Weise eigentlich schon erwartet, dass Goolge seine URL-Analyse etwas sorgsamer vornimmt als durch tumpe Stringvergleiche ... ?



Viele Grüße von hier
whobee (the newbe)

[Southmedia]

Hm.... es spricht doch etwas gegen die Indexierung: Exclusion durch robots.txt und 404 liefert das Script auch nicht zurück. Aber das kann der Bot ohnehin ja gar nicht wissen, schliesslich hat er den Request nie ausgeführt... naja, zumindest hat er sich nicht identifiziert.

Indexiert wurde die Seite ja auch nicht, nur die URL wurde in den Index aufgenommen. Dazu reicht es aus eine Seite zu verlinken. robots.txt verbietet dem Bot die Seite zu indexieren und den Inhalt zu übernehmen.

Allerdings hatte ich in meiner naiver Weise eigentlich schon erwartet, dass Goolge seine URL-Analyse etwas sorgsamer vornimmt als durch tumpe Stringvergleiche ... ?

Kann man nicht wissen - Fakt ist nur dass 2 URLs mit versch Parameterreihenfolge nunmal als verschiedene URLs behandelt werden. Ende.

[whobee]

Kann man nicht wissen - Fakt ist nur dass 2 URLs mit versch Parameterreihenfolge nunmal als verschiedene URLs behandelt werden. Ende

...wollte deine Geduld nicht überstrapazieren.
Nochmal vielen Dank für deine hilfreichen Infos!

Grüße
whobee

[RW]

Thema: session-id

Technische Richtlinien:

Öffnen Sie Ihre Site mit einem Textbrowser wie Lynx, da die meisten Webcrawler Ihre Site so ähnlich wie Lynx analysieren. Wenn Funktionen wie JavaScript, Cookies, Sitzungs-IDs, Frames, DHTML oder Flash verhindern, dass Sie Ihre gesamte Website in einem Textbrowser anzeigen können, treten beim Durchlaufen der Website durch Crawler möglicherweise Schwierigkeiten auf.

Ermöglichen Sie es Suchrobotern, Ihre Website ohne Sitzungs-IDs oder Argumente, die ihren Weg durch die Website aufzeichnen, zu durchlaufen. Diese Methoden sind hilfreich, um das Verhalten einzelner Benutzer zu analysieren, das Zugriffsmuster von Suchrobotern ist jedoch davon gänzlich verschieden. Das Verwenden solcher Techniken kann zu einer unvollständigen Indizierung Ihrer Site führen, da Suchroboter eventuell nicht in der Lage sind, URLs zu eliminieren, die verschieden aussehen, aber auf dieselbe Seite zeigen.

Nachzulesen: https://www.google.de/intl/de/webmaster ... lines.html

Um die Session "abzustellen" benötigst eine Userkennung.
Ich bin dazu übergegangen sämtliche dynamische Seiten für die Boots zu sperren.
Der User kommt auf eine „statische“ Seite und erhält dort seine Session.
Bzw. er bewegt sich durch den Shop und erst wenn er was kaufen will (Warenkorb) bekommt er seine Session. Hat den Nachteil das er im Browser beim Betätigen des „<< Zurück Button“ sein Wahrenkorb Inhalt verliert.

RW

[Southmedia]

...wollte deine Geduld nicht überstrapazieren.

Hast du nicht - wollte das nur nochma verdeutlichen und klarstellen.

[whobee]

Ermöglichen Sie es Suchrobotern, Ihre Website ohne Sitzungs-IDs oder Argumente, die ihren Weg durch die Website aufzeichnen, zu durchlaufen

Ich weiß nicht, wie oft ich es schon gelesen habe ..

Nach meiner Ansicht widerspricht sich Google da schon ein wenig, auch wenn ich die Motivation durchaus nachvollziehen kann.
Einerseits bedeudet das: Baue eine user_agent-Erkennung und entferne allen "Unrat", sonst indizieren wir (Google) wegen Sitzungs-Ids deine Seite nicht.
Andererseits postet GoogleGuy (sinngemäß): "Cloaking steht definitiv außerhalb der Richtlinien von Google" und Browserweichen sind Cloaking! Es es ja nicht damit getan, die Session-ID einfach weg zu optimieren:Man hat ja links auf Warenkorb, Logins, personalisierte Abfragen usw, schließlich kommt ja gar nicht umhin, zumindest ein bisschen zu "cloaken" und den Robots gewisse Funktionalitäten vorzuenthalten und natürlich unterscheiden sich die Inhalte dann schon, wenn auch nur wenig...

Ich bin dazu übergegangen sämtliche dynamische Seiten für die Boots zu sperren

robots.txt? oder zeigst du die Inhalte erst gar nicht an
In meinem neuesten Auftritt will alle URLs, die "Session-relevant" sind (warenkorb einfügen, warenkorb anzeigen u.s.w) gewisser Maßen "wegcloaken" und den Bots erst gar nicht zeigen.Damit sie nicht auf die Idee kommen, dies trotzdem zu indizieren oder zu listen oder was auch immer ....

Keine Gute Idee?

Bzw. er bewegt sich durch den Shop und erst wenn er was kaufen will (Warenkorb) bekommt er seine Session. Hat den Nachteil das er im Browser beim Betätigen des „<< Zurück Button“ sein Wahrenkorb Inhalt verliert.

Das ist natürlich (fast) die Ideallösung, wenn auch mit diesem Haar in der Suppe... Weil ich das nicht wollte, bin ich schon sehr früh (noch bevor SEO ein Thema war) dazu übergegangen, dafür zu sorgen, daß jeder Benutzer, auch beim Einstieg in die Seite, einen URL mit gültiger Session-ID erhält und das halte ich auch nach wie vor für sinnvoll. Den schliesslich
"Erstellen Sie (wir) Seiten für Benutzer und nicht für Suchmaschinen." (Google,Webmaster Guidelines) ... vielleicht bin ich da etwas konservativ
Hat mich viel Mühe gekosten, daß im Google-Sinn wieder hinzubiegen!

Viele Gruß
whobee

[RW]

HI

In meinem neuesten Auftritt will alle URLs, die "Session-relevant" sind (warenkorb einfügen, warenkorb anzeigen u.s.w) gewisser Maßen "wegcloaken" und den Bots erst gar nicht zeigen.Damit sie nicht auf die Idee kommen, dies trotzdem zu indizieren oder zu listen oder was auch immer ....

Das einfachste erscheint ein POST-Request zur Warenkorb Seite. Google kann kein POST-Request folgen.

Ansonsten bleibt nur Sessions GET oder Cookies für die Userkennung.


RW