Wird nur meine Sitemap aus der robots.txt indiziert?
Verfasst: 13.03.2012, 11:44
Halli Hallo,
ich stelle mir momentan folgende Frage:
Wenn ich in meiner robots.txt eine Sitemap angebe, werden dann nur noch die URLs aus der Sitemap indiziert, oder crawlt der Bot weiterhin meine Seite durch?
Leider konnte ich keine vernünftige Aussage im Netzt finden, und hoffe nun das Ihr mir dabei helfen könnt.
Viele Grüße,
elpado
ich stelle mir momentan folgende Frage:
Wenn ich in meiner robots.txt eine Sitemap angebe, werden dann nur noch die URLs aus der Sitemap indiziert, oder crawlt der Bot weiterhin meine Seite durch?
Leider konnte ich keine vernünftige Aussage im Netzt finden, und hoffe nun das Ihr mir dabei helfen könnt.
Viele Grüße,
elpado