ABAKUS

Hallo,
ich hab mal eine Frage:
Ein Spider Viewer soll mir ja meine Webseite aus Sicht der Robots anzeigen. Wenn ich jetzt mit verschiedenen SpiderViewern oder mit dem Lynx-Browser (FF-Plugin) meine Site überprüfe, bekomme ich die Links incl. SessionID und den gesperrten Verzeichnissen angezeigt. Die SIDs habe ich aber für Bots deaktiviert und diverse Verzeichnisse mittels robots.txt ausgeschlossen.

Erkennen das die Spider Viewer nicht, oder anders gefragt, wie kann ich überprüfen, ob ich die SIDs für Robots entfernt und die Verzeichnisse richtig gesperrt habe?

Gruß

vielleicht indem du uns kurz die einträge in der robots.txt postest

Danke expy, aber ich weiss in diesem Fall, dass die robots.txt ok ist. Ich suche eher nach einem Tool oder einer Möglichkeit, welche mir visuell anzeigt (nicht anzeigt), welche Verzeichnisse per robots.txt ausgeschlossen sind und ob die Sid für Bots tatsächlich deaktiviert ist. Bevor ich echte Sumas auf die Seiten loslasse.