ABAKUS

...bin mir nur unsicher und es is wichtig...

kann ich mit folgendem code (in ner domain.de/robots.txt) den googlebot vom crawlen aller seiten des genannten verzeichnisses abhalten? dankeschön...

User-agent: *
Disallow: /unsinn/
Disallow: /temp/
Disallow: /newsticker.shtml

https://de.selfhtml.org/diverses/robots.htm

Gruss Rob

SeriousBadMan hat geschrieben:kann ich mit folgendem code (in ner domain.de/robots.txt) den googlebot vom crawlen aller seiten des genannten verzeichnisses abhalten? dankeschön... :)

Code: Alles auswählen

User-Agent: *
Allow: /
Disallow: /sonstiger-rnb/

Die robots.txt wird standardmäßig von oben nach unten abgearbeitet und der erste Treffer zählt. Der erste Treffer ist in deinem Fall der Eintrag "Allow: /" ( = "erlaube alles, was mit einem Schrägstrich beginnt"), und der trifft auf alle Pfade dieser Domain zu. Somit kann keine nachfolgende Zeile mehr Wirkung zeigen, dein Disallow tut nix.

Suchmaschinen grasen von alleine sämtliche Seiten ab, es ist deshalb nicht notwendig, explizit den Zugriff mit "Allow: /" zu erlauben. Allow wird nur benötigt, wenn etwas innerhalb eines ausgesperrten URL-Pfades aufgenommen werden soll, etwa so:

Allow: /impressum/agb/
Disallow: /impressum/

Mit diesen beiden Zeilen wird mit Ausnahme von /impressum/agb/ alles innerhalb /impressum/ nicht indiziert. Beachte die Reihenfolge, wegen besagter Erster-Treffer-zählt-Regel kommt der erlaubte Pfad /impressum/agb/ vor dem nicht erlaubten /impressum/.

also die allow zeile streichen... dankeschön