Seite 1 von 1
Tool/Script für robots.txt Überprüfung
Verfasst: 02.03.2008, 20:00
von chrizz
vorneweg:
Ich suche keinen Validator für die robots.txt
Ich suche ein Tool/Script, was bei Eingabe einer bestimmten URL überprüft, ob die URL per robots.txt gesperrt ist.
gibt es sowas? wenn ja. würde ich mich über Links freuen...
danke
Verfasst: 02.03.2008, 21:33
von Webkatalogpromotion
Google -> Google Webmaster Tools --> irgendwo da !
In der Seitenübersicht bei den Webmaster Tools rufst du eine Seite auf, sofern du Sie schon eingetragen hast und da steht das irgendwo mit der robots.txt oder zugriffsrechte oder sowas und dort kannst du das dann prüfen
Verfasst: 02.03.2008, 22:02
von chrizz
danke für den Tipp...
ich glaube aber, da kann man nicht direkt nach URLs suchen, sondenr dort ist nur eine Übersicht, welche Ordner/Dateien wie behandelt werden...
aber nun gut... dann muss ich es halt selbst programmieren...
Verfasst: 03.03.2008, 00:41
von Webkatalogpromotion
chrizz hat geschrieben:danke für den Tipp...
ich glaube aber, da kann man nicht direkt nach URLs suchen, sondenr dort ist nur eine Übersicht, welche Ordner/Dateien wie behandelt werden...
aber nun gut... dann muss ich es halt selbst programmieren...
nya du kannst dir da zu jeder url anzeigen ob die geschützt ist oder nicht ...
Verfasst: 03.03.2008, 09:49
von chrizz
dann muss ich mir das nochmal genauer anschauen... aber letztlich bräuchte ich ja das Script dazu... daher ist es zwar gut zu wissen, dass es das gibt, aber das was ich suche ist immernoch nicht dabei...leider.
