Spider Viewer Frage

[hatte05]

Hallo,
ich hab mal eine Frage:
Ein Spider Viewer soll mir ja meine Webseite aus Sicht der Robots anzeigen. Wenn ich jetzt mit verschiedenen SpiderViewern oder mit dem Lynx-Browser (FF-Plugin) meine Site überprüfe, bekomme ich die Links incl. SessionID und den gesperrten Verzeichnissen angezeigt. Die SIDs habe ich aber für Bots deaktiviert und diverse Verzeichnisse mittels robots.txt ausgeschlossen.

Erkennen das die Spider Viewer nicht, oder anders gefragt, wie kann ich überprüfen, ob ich die SIDs für Robots entfernt und die Verzeichnisse richtig gesperrt habe?

Gruß

[expy]

vielleicht indem du uns kurz die einträge in der robots.txt postest

[hatte05]

Danke expy, aber ich weiss in diesem Fall, dass die robots.txt ok ist. Ich suche eher nach einem Tool oder einer Möglichkeit, welche mir visuell anzeigt (nicht anzeigt), welche Verzeichnisse per robots.txt ausgeschlossen sind und ob die Sid für Bots tatsächlich deaktiviert ist. Bevor ich echte Sumas auf die Seiten loslasse.

[Clarius]

Wahrscheinlich meinst Du die PreventSpiderSessions Einstellung von osCommerce oder Forks. Hier gibt es eine Datei, in der alle UserAgents eingetragen sind, deren Browser oder Bot keine Session-Id bekommt. Du muß im Firefox über ein Plugin einen UserAgent einstellen, der in der Datei steht und dann testen.

Das hat mit der robots.txt nichts zu tun, der Spider Viewer soll imho nur zeigen, welcher Text auf einer Seite zu finden ist, damit dem SEO(-Anfänger) klar wird, warum seine Seite bei einer KW-Kombi nicht zu finden ist.

Grüße.

[hatte05]

Du muß im Firefox über ein Plugin einen UserAgent einstellen, der in der Datei steht und dann testen.

Habe mir jetzt den UserAgent Switcher runtergeladen und mich als Googlebot getarnt. Keine SessioIDs
Vielen Dank für den Tipp @Clarius

robots.txt, dachte eben es gäbe vielleicht einen Viewer der das kann, aber egal.