Bestimmte Dateien sperren

Beitrag von **Kali** » 15.02.2009, 14:01

Hallo allerseits,
ich bräuchte kurz Eure Hilfe.

Ich würde gerne die Robots.txt bei mir anpassen. Ziel ist es, dass keinerlei PDF indexiert wird von Google und das keinerlei Druckversion indexiert werden. Ersteres bekomme ich ja mit Disallow: /*.pdf$ hin. Aber wie schaffe ich es, dass in jedem Verzeichnis alles gesperrt wird, dass auf drucken.html endet? Beispiele: verzeichnis1/drucken.html, verzeichnis2/drucken.html etc...

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **catcat** » 15.02.2009, 14:55

Ich würds mit dem hier mal versuchen (ohne garantie:

Disallow: /*/drucken.html

Beitrag von **Kali** » 15.02.2009, 15:55

Danke. Ich hatte daran auch schon gedacht. Aber ich fand das nicht in den Standarts von Google und will nicht riskieren, dass dadurch noch mehr nicht indexiert wird. Hat jemand das hier schonmal probiert?

Beitrag von **Pompom** » 15.02.2009, 16:02

Disallow: drucken.html

Beitrag von **Kali** » 15.02.2009, 17:47

Pompom hat geschrieben:Disallow: drucken.html

Aber rafft der Bot dann, dass es alle drucken.html sind und nicht nur das im Hauptordner?

Beitrag von **Pompom** » 15.02.2009, 18:17

das rafft der, der lebt davon.

Nur der Hauptordner (root) ist
Disallow: /drucken.html

Beitrag von **Kali** » 16.02.2009, 12:44

Ok Danke

Beitrag von **Mork vom Ork** » 16.02.2009, 13:48

Wenn der Googlebot das kann, dann ist das eine nicht dokumentierte Eigenart, denn bei Google steht davon nichts, ganz im Gegenteil wird dort empfohlen, „The entry should begin with a forward slash (/).“
Und allgemein, d.h. für alle Bots gesprochen, wird mit Disallow: drucken.html definitiv gar nichts ausgeschlossen, weil URL-Pfade immer mit einem Schrägstrich beginnen, drucken.html entsprechend dem robots.txt-Standard also auf nichts zutrifft.

Korrekt wäre zumindest im Falle Googlebot nur Folgendes, um sämtliche drucken.html-Seiten des Servers auszuschließen:

User-agent: Googlebot
Disallow: /*drucken.html*

Anderes täte ich mit Vorsicht genießen.

Beitrag von **Kali** » 17.02.2009, 00:38