Hallo,
ich hab mal eine Frage:
Ein Spider Viewer soll mir ja meine Webseite aus Sicht der Robots anzeigen. Wenn ich jetzt mit verschiedenen SpiderViewern oder mit dem Lynx-Browser (FF-Plugin) meine Site überprüfe, bekomme ich die Links incl. SessionID und den gesperrten Verzeichnissen angezeigt. Die SIDs habe ich aber für Bots deaktiviert und diverse Verzeichnisse mittels robots.txt ausgeschlossen.
Erkennen das die Spider Viewer nicht, oder anders gefragt, wie kann ich überprüfen, ob ich die SIDs für Robots entfernt und die Verzeichnisse richtig gesperrt habe?
Gruß
Archiv
