Nochmal die robots.txt

Beitrag von **superolli** » 03.06.2008, 06:51

Auch wenn es hier unzählige Abhandlungen gibt über die robots.txt, zu meiner Frage habe ich unterschiedliche Aussagen gelesen.

Es heisst überall, ich kann mit der robots.txt nur interne Verzeichnisse sperren, geht das denn nicht für die einzelnen Shopseiten bzw. einzelne dieser verflixten Pdf-Dateien?

Ich möchte im Ergebnis die Widerruf- Versandkosten und AGB Seiten etc. rausnehmen.

Grüße & Danke vorab für jedwede Hilfe.

Oliver

von **Anzeige von ABAKUS** »

Beitrag von **fi-ausbilden** » 03.06.2008, 07:03

Nee, kann man nicht... Pack alle PDFs in ein Verzeichniss und mach dafür ein disallow...

Beitrag von np » 03.06.2008, 19:56

Glaub ich schon das sowas über wildchars geht:
User-agent: *
Disallow: /*.pdf

Oder?

Beitrag von **fi-ausbilden** » 03.06.2008, 19:59

Keine Joker bei "Disallow"...

Beitrag von **chrizz** » 03.06.2008, 20:02

du kannst alle pdfs einzeln ausschließen... oder halt wie beschrieben alles in ein verzeichnis und das verzeichnis sperren...

und weils dich vielleicht auch interessiert:
https://www.sistrix.de/news/716-new-tag ... obots.html

Beitrag von **Fridaynite** » 04.06.2008, 07:23

fi-ausbilden hat geschrieben:Keine Joker bei "Disallow"...

Das ist falsch.
https://www.google.com/support/webmaste ... swer=40367

Google unterstützt Wildcards. Bringt hier nicht immer Halbwissen als Tatsachen rein.

Beitrag von **Malte Landwehr** » 04.06.2008, 07:27

Google unterstützt einen Code, der alle Dateien einer bestimmten Endung (in diesem Fall .pdf) sperrt. Dann musst du aber darauf achten für "User-agent: *" andere Regeln als für den Google Bot einzustellen!

Details findest du in der Webmasterhilfe von Google.

Beispielcode für deinen Fall (sperrt ALLE pdfs aber NUR für Google):

Code: Alles auswählen

User-agent&#58; Googlebot Disallow&#58; /*.pdf$

edit: Friday war schneller.

Beitrag von **fi-ausbilden** » 04.06.2008, 07:54

Is ja gut, das nutzt für Yahoo & Co. aber nix...