Tool/Script für robots.txt Überprüfung

Beitrag von **chrizz** » 02.03.2008, 20:00

vorneweg:
Ich suche keinen Validator für die robots.txt

Ich suche ein Tool/Script, was bei Eingabe einer bestimmten URL überprüft, ob die URL per robots.txt gesperrt ist.

gibt es sowas? wenn ja. würde ich mich über Links freuen...

danke

von **Anzeige von ABAKUS** »

Beitrag von **Webkatalogpromotion** » 02.03.2008, 21:33

Google -> Google Webmaster Tools --> irgendwo da !

In der Seitenübersicht bei den Webmaster Tools rufst du eine Seite auf, sofern du Sie schon eingetragen hast und da steht das irgendwo mit der robots.txt oder zugriffsrechte oder sowas und dort kannst du das dann prüfen

Beitrag von **chrizz** » 02.03.2008, 22:02

danke für den Tipp...
ich glaube aber, da kann man nicht direkt nach URLs suchen, sondenr dort ist nur eine Übersicht, welche Ordner/Dateien wie behandelt werden...

aber nun gut... dann muss ich es halt selbst programmieren...

von **Anzeige von ABAKUS** »

Beitrag von **Webkatalogpromotion** » 03.03.2008, 00:41

chrizz hat geschrieben:danke für den Tipp...
ich glaube aber, da kann man nicht direkt nach URLs suchen, sondenr dort ist nur eine Übersicht, welche Ordner/Dateien wie behandelt werden...

aber nun gut... dann muss ich es halt selbst programmieren...

nya du kannst dir da zu jeder url anzeigen ob die geschützt ist oder nicht ...

Beitrag von **chrizz** » 03.03.2008, 09:49

dann muss ich mir das nochmal genauer anschauen... aber letztlich bräuchte ich ja das Script dazu... daher ist es zwar gut zu wissen, dass es das gibt, aber das was ich suche ist immernoch nicht dabei...leider.