robots.txt: wie empfindlich ist google?
Verfasst: 28.04.2008, 16:59
Hi,
je mehr man hier liest, umso unsicherer wird man.
Mittlerweile denke ich, ich sollte die robots.txt so kurz wie möglich halten.
Aber eine Frage vorab habe ich noch an Euch:
Wenn ich das so angebe
Und ist z.B. google da so empfindlich, dass der google-Bot bald gar keine Lust mehr hat - vorbei zu schauen?
Würde mich über Antworten freuen.
je mehr man hier liest, umso unsicherer wird man.
Mittlerweile denke ich, ich sollte die robots.txt so kurz wie möglich halten.
Aber eine Frage vorab habe ich noch an Euch:
Wenn ich das so angebe
dürfte doch nur der Privat-Bereich für freundliche Bots gesperrt sein. Oder?User-agent: *
Disallow: /privat/
Und ist z.B. google da so empfindlich, dass der google-Bot bald gar keine Lust mehr hat - vorbei zu schauen?
Würde mich über Antworten freuen.

