Dateitypen aussperren in der robots.txt

[Lag]

Hallo,

ist es möglich in der robots.txt alle Dateien eines Typs für die bots zu sperren?

Beispiel wäre z.B. sowas wie:

Code: Alles auswählen

User-agent: *
Disallow: /*.xyz

Dankeschön schonmal!

[Network]

Meinst du das hier?

Code: Alles auswählen

Disallow: /datei.php

Disallow: /datei.php$

[Lag]

Wenn das bedeutet das alle PHP-Dateien auf der Domain für robots "gesperrt" sind, dann ja. Aber das sieht mir eher so aus als wenn nur die Datei "datei.php" gesperrt ist.

[Network]

Mit

Code: Alles auswählen

Disallow: /datei.php$

ist alles mit der datei.php?id=gesperrt&und=das-ist-auch-gesperrt

Möchtest du alle php Dateien sperren, dann setze das $ doch vor das php.

Oder willst du die gesamte Domain sperren?

Code: Alles auswählen

Disallow: /

[Lag]

Wenn das funktioniert, dann wäre

Code: Alles auswählen

Disallow: /$.php

das richtige. Müßte man noch irgendwie testen...

Danke erstmal.

[Network]

Wikipedia zum Thema

[Lag]

$ ->Zeilenende-Anker (nur Googlebot, Yahoo! Slurp, msnbot) -> Disallow: /*.pdf$ -> Alle PDF-Dateien werden ignoriert

Das hab ich gesucht. Danke!