Seite 1 von 1
Nochmal die robots.txt
Verfasst: 03.06.2008, 06:51
von superolli
Auch wenn es hier unzählige Abhandlungen gibt über die robots.txt, zu meiner Frage habe ich unterschiedliche Aussagen gelesen.
Es heisst überall, ich kann mit der robots.txt nur interne Verzeichnisse sperren, geht das denn nicht für die einzelnen Shopseiten bzw. einzelne dieser verflixten Pdf-Dateien?
Ich möchte im Ergebnis die Widerruf- Versandkosten und AGB Seiten etc. rausnehmen.
Grüße & Danke vorab für jedwede Hilfe.
Oliver
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 03.06.2008, 07:03
von fi-ausbilden
Nee, kann man nicht... Pack alle PDFs in ein Verzeichniss und mach dafür ein disallow...
Verfasst: 03.06.2008, 19:56
von np
Glaub ich schon das sowas über wildchars geht:
User-agent: *
Disallow: /*.pdf
Oder?
Verfasst: 03.06.2008, 19:59
von fi-ausbilden
Keine Joker bei "Disallow"...
Verfasst: 03.06.2008, 20:02
von chrizz
du kannst alle pdfs einzeln ausschließen... oder halt wie beschrieben alles in ein verzeichnis und das verzeichnis sperren...
und weils dich vielleicht auch interessiert:
https://www.sistrix.de/news/716-new-tag ... obots.html
Verfasst: 04.06.2008, 07:23
von Fridaynite
fi-ausbilden hat geschrieben:Keine Joker bei "Disallow"...
Das ist falsch.
https://www.google.com/support/webmaste ... swer=40367
Google unterstützt Wildcards. Bringt hier nicht immer Halbwissen als Tatsachen rein.
Verfasst: 04.06.2008, 07:27
von Malte Landwehr
Google unterstützt einen Code, der alle Dateien einer bestimmten Endung (in diesem Fall .pdf) sperrt. Dann musst du aber darauf achten für "User-agent: *" andere Regeln als für den Google Bot einzustellen!
Details findest du in der Webmasterhilfe von Google.
Beispielcode für deinen Fall (sperrt ALLE pdfs aber NUR für Google):
edit: Friday war schneller.
Verfasst: 04.06.2008, 07:54
von fi-ausbilden
Is ja gut, das nutzt für Yahoo & Co. aber nix...
