Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

robots.txt: wie empfindlich ist google?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Alayna
PostRank 1
PostRank 1
Beiträge: 22
Registriert: 14.08.2007, 11:37

Beitrag von Alayna » 28.04.2008, 16:59

Hi,

je mehr man hier liest, umso unsicherer wird man. :o

Mittlerweile denke ich, ich sollte die robots.txt so kurz wie möglich halten.
Aber eine Frage vorab habe ich noch an Euch:

Wenn ich das so angebe
User-agent: *
Disallow: /privat/
dürfte doch nur der Privat-Bereich für freundliche Bots gesperrt sein. Oder?

Und ist z.B. google da so empfindlich, dass der google-Bot bald gar keine Lust mehr hat - vorbei zu schauen?

Würde mich über Antworten freuen.