Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

hi, dumme frage...

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
SeriousBadMan
PostRank 10
PostRank 10
Beiträge: 4005
Registriert: 16.06.2008, 22:26
Wohnort: Welt

Beitrag von SeriousBadMan » 20.09.2008, 21:29

...bin mir nur unsicher und es is wichtig...

kann ich mit folgendem code (in ner domain.de/robots.txt) den googlebot vom crawlen aller seiten des genannten verzeichnisses abhalten? dankeschön... :)

Code: Alles auswählen

User-Agent: *
Allow: /
Disallow: /sonstiger-rnb/


Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


TheRob
PostRank 5
PostRank 5
Beiträge: 274
Registriert: 10.06.2008, 11:44
Wohnort: Wetzikon

Beitrag von TheRob » 20.09.2008, 21:44

User-agent: *
Disallow: /unsinn/
Disallow: /temp/
Disallow: /newsticker.shtml

https://de.selfhtml.org/diverses/robots.htm

Gruss Rob

Mork vom Ork
PostRank 9
PostRank 9
Beiträge: 2557
Registriert: 08.07.2008, 11:07
Wohnort: Aufm Friedhof.

Beitrag von Mork vom Ork » 21.09.2008, 08:57

SeriousBadMan hat geschrieben:kann ich mit folgendem code (in ner domain.de/robots.txt) den googlebot vom crawlen aller seiten des genannten verzeichnisses abhalten? dankeschön... :)

Code: Alles auswählen

User-Agent: *
Allow: /
Disallow: /sonstiger-rnb/
Die robots.txt wird standardmäßig von oben nach unten abgearbeitet und der erste Treffer zählt. Der erste Treffer ist in deinem Fall der Eintrag "Allow: /" ( = "erlaube alles, was mit einem Schrägstrich beginnt"), und der trifft auf alle Pfade dieser Domain zu. Somit kann keine nachfolgende Zeile mehr Wirkung zeigen, dein Disallow tut nix.

Suchmaschinen grasen von alleine sämtliche Seiten ab, es ist deshalb nicht notwendig, explizit den Zugriff mit "Allow: /" zu erlauben. Allow wird nur benötigt, wenn etwas innerhalb eines ausgesperrten URL-Pfades aufgenommen werden soll, etwa so:

Allow: /impressum/agb/
Disallow: /impressum/

Mit diesen beiden Zeilen wird mit Ausnahme von /impressum/agb/ alles innerhalb /impressum/ nicht indiziert. Beachte die Reihenfolge, wegen besagter Erster-Treffer-zählt-Regel kommt der erlaubte Pfad /impressum/agb/ vor dem nicht erlaubten /impressum/.

SeriousBadMan
PostRank 10
PostRank 10
Beiträge: 4005
Registriert: 16.06.2008, 22:26
Wohnort: Welt

Beitrag von SeriousBadMan » 21.09.2008, 19:08

also die allow zeile streichen... dankeschön :)

Antworten