Verzeichnis vom crawlen ausschließen.

[Unifex]

Ich möchte Urls mit einem bestimmten Verzeichnis vom crawlen ausschließen.

Beispiel: Jede URL wo das Verzeichnis blabla vorkommt, soll nicht gespidert werden.

/verzeichnis-1/blabla/verzeichnis-2/index.html
/verzeichnis-1/vezeichnis-2/blabla/index.html
/blabla/veriechnis-1/verzeichnis-2/blabla/index.html

Würde folgendes in der Robots.txt reichen?
User-agent: *
Disallow: /blabla/

[Miyamoto]

Ich möchte Urls mit einem bestimmten Verzeichnis vom crawlen ausschließen.

Beispiel: Jede URL wo das Verzeichnis blabla vorkommt, soll nicht gespidert werden.

/verzeichnis-1/blabla/verzeichnis-2/index.html
/verzeichnis-1/vezeichnis-2/blabla/index.html
/blabla/veriechnis-1/verzeichnis-2/blabla/index.html

Würde folgendes in der Robots.txt reichen?
User-agent: *
Disallow: /blabla/

Hallo,
Bei den seriöseren Sumas hilfts (meist - aber auch nicht immer!). Ansonsten per .htaccess verbieten. Ob dies 100% igen Erfolg verspricht kann ich Dir aber auch nicht sicher beantworten.
Gruss
eSiamdvd

[Unifex]

Hallo,
Bei den seriöseren Sumas hilfts (meist - aber auch nicht immer!). Ansonsten per .htaccess verbieten. Ob dies 100% igen Erfolg verspricht kann ich Dir aber auch nicht sicher beantworten.
Gruss
eSiamdvd

Ja, geht nur um seriöse Sumas. Ich war mir nur nicht sicher, ob es egal ist, an welcher Stelle das Verzeichnis in der URL ist.

Wie würde man sowas denn in einer .htaccess lösen?

[Kralle]

Kannst du nur mit Wildcards lösen, gehört aber nicht zum Standard und wird nicht von allen SuMas unterstützt. Google nimmt sie aber.
Stattdessen im Header lieber ein Meta-noindex senden, ist die sicherere Variante.

[Unifex]

Kannst du nur mit Wildcards lösen, gehört aber nicht zum Standard und wird nicht von allen SuMas unterstützt. Google nimmt sie aber.
Stattdessen im Header lieber ein Meta-noindex senden, ist die sicherere Variante.

Meta ist hier leider nicht möglich. Könntest du mir ein Beispiel geben mit Wildcards bezugnehmend auf das Verzeichnis blabla?

[Kralle]

Schau mal hier:

https://www.google.com/support/webmaste ... swer=40367

Könnte in deinem Fall z. B. so aussehen:

Disallow: */verzeichnisdasentferntwerdensoll/* (ungetestet)

Kannst dann auch mit dem Analyse-Tool bei den Webmaster Tools testen lassen.

[Unifex]

Disallow: */verzeichnisdasentferntwerdensoll/* (ungetestet)

Kannst dann auch mit dem Analyse-Tool bei den Webmaster Tools testen lassen.

Funktioniert. Das ist ja cool, dass man das vorher testen kann. Vielen Dank für den Tipp.

[Kralle]

Gern geschehn

Beachte allerdings, daß nicht alle SuMas Wildcards unterstützen, und diese nicht dem Standard angehören.