Dateitypen aussperren in der robots.txt

Beitrag von **Lag** » 28.11.2008, 09:37

Hallo,

ist es möglich in der robots.txt alle Dateien eines Typs für die bots zu sperren?

Beispiel wäre z.B. sowas wie:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /*.xyz

Dankeschön schonmal!

von **Anzeige von ABAKUS** »

Beitrag von **Network** » 28.11.2008, 09:44

Meinst du das hier?

Code: Alles auswählen

Disallow&#58; /datei.php

Disallow&#58; /datei.php$

Beitrag von **Lag** » 28.11.2008, 09:52

Wenn das bedeutet das alle PHP-Dateien auf der Domain für robots "gesperrt" sind, dann ja. Aber das sieht mir eher so aus als wenn nur die Datei "datei.php" gesperrt ist.

Beitrag von **Network** » 28.11.2008, 10:00

Mit

Code: Alles auswählen

Disallow&#58; /datei.php$

ist alles mit der datei.php?id=gesperrt&und=das-ist-auch-gesperrt

Möchtest du alle php Dateien sperren, dann setze das $ doch vor das php.

Oder willst du die gesamte Domain sperren?

Code: Alles auswählen

Disallow&#58; /

Beitrag von **Lag** » 28.11.2008, 10:08

Wenn das funktioniert, dann wäre

Code: Alles auswählen

Disallow&#58; /$.php

das richtige. Müßte man noch irgendwie testen...

Danke erstmal.

Beitrag von **Network** » 28.11.2008, 10:15

Wikipedia zum Thema

Beitrag von **Lag** » 28.11.2008, 10:47

$ ->Zeilenende-Anker (nur Googlebot, Yahoo! Slurp, msnbot) -> Disallow: /*.pdf$ -> Alle PDF-Dateien werden ignoriert

Das hab ich gesucht. Danke!