Seite 1 von 1
Bestimmte Dateien sperren
Verfasst: 15.02.2009, 14:01
von Kali
Hallo allerseits,
ich bräuchte kurz Eure Hilfe.
Ich würde gerne die Robots.txt bei mir anpassen. Ziel ist es, dass keinerlei PDF indexiert wird von Google und das keinerlei Druckversion indexiert werden. Ersteres bekomme ich ja mit Disallow: /*.pdf$ hin. Aber wie schaffe ich es, dass in jedem Verzeichnis alles gesperrt wird, dass auf drucken.html endet? Beispiele: verzeichnis1/drucken.html, verzeichnis2/drucken.html etc...
Verfasst: 15.02.2009, 14:55
von catcat
Ich würds mit dem hier mal versuchen (ohne garantie:
Disallow: /*/drucken.html
Verfasst: 15.02.2009, 15:55
von Kali
Danke. Ich hatte daran auch schon gedacht. Aber ich fand das nicht in den Standarts von Google und will nicht riskieren, dass dadurch noch mehr nicht indexiert wird. Hat jemand das hier schonmal probiert?
Verfasst: 15.02.2009, 16:02
von Pompom
Disallow: drucken.html
Verfasst: 15.02.2009, 17:47
von Kali
Pompom hat geschrieben:Disallow: drucken.html
Aber rafft der Bot dann, dass es alle drucken.html sind und nicht nur das im Hauptordner?
Verfasst: 15.02.2009, 18:17
von Pompom
das rafft der, der lebt davon.
Nur der Hauptordner (root) ist
Disallow: /drucken.html
Verfasst: 16.02.2009, 12:44
von Kali
Ok Danke
Verfasst: 16.02.2009, 13:48
von Mork vom Ork
Wenn der Googlebot das kann, dann ist das eine nicht dokumentierte Eigenart, denn
bei Google steht davon nichts, ganz im Gegenteil wird dort empfohlen, „The entry should begin with a forward slash (/).“
Und allgemein, d.h. für alle Bots gesprochen, wird mit
Disallow: drucken.html definitiv gar nichts ausgeschlossen, weil URL-Pfade immer mit einem Schrägstrich beginnen,
drucken.html entsprechend dem
robots.txt-Standard also auf nichts zutrifft.
Korrekt wäre zumindest im Falle Googlebot nur Folgendes, um sämtliche drucken.html-Seiten des Servers auszuschließen:
User-agent: Googlebot
Disallow: /*drucken.html*
Anderes täte ich mit Vorsicht genießen.
Verfasst: 17.02.2009, 00:38
von Kali
Thx.
