Seite 1 von 1

Dateitypen aussperren in der robots.txt

Verfasst: 28.11.2008, 09:37
von Lag
Hallo,

ist es möglich in der robots.txt alle Dateien eines Typs für die bots zu sperren?

Beispiel wäre z.B. sowas wie:

Code: Alles auswählen

User-agent: *
Disallow: /*.xyz
Dankeschön schonmal!

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 28.11.2008, 09:44
von Network
Meinst du das hier?

Code: Alles auswählen

Disallow: /datei.php

Disallow: /datei.php$

Verfasst: 28.11.2008, 09:52
von Lag
Wenn das bedeutet das alle PHP-Dateien auf der Domain für robots "gesperrt" sind, dann ja. Aber das sieht mir eher so aus als wenn nur die Datei "datei.php" gesperrt ist.

Verfasst: 28.11.2008, 10:00
von Network
Mit

Code: Alles auswählen

Disallow: /datei.php$
ist alles mit der datei.php?id=gesperrt&und=das-ist-auch-gesperrt

Möchtest du alle php Dateien sperren, dann setze das $ doch vor das php.

Oder willst du die gesamte Domain sperren?

Code: Alles auswählen

Disallow: /

Verfasst: 28.11.2008, 10:08
von Lag
Wenn das funktioniert, dann wäre

Code: Alles auswählen

Disallow: /$.php
das richtige. Müßte man noch irgendwie testen...

Danke erstmal.

Verfasst: 28.11.2008, 10:15
von Network

Verfasst: 28.11.2008, 10:47
von Lag
$ ->Zeilenende-Anker (nur Googlebot, Yahoo! Slurp, msnbot) -> Disallow: /*.pdf$ -> Alle PDF-Dateien werden ignoriert
Das hab ich gesucht. Danke!