Wird nur meine Sitemap aus der robots.txt indiziert?

Beitrag von **elpado** » 13.03.2012, 11:44

Halli Hallo,

ich stelle mir momentan folgende Frage:
Wenn ich in meiner robots.txt eine Sitemap angebe, werden dann nur noch die URLs aus der Sitemap indiziert, oder crawlt der Bot weiterhin meine Seite durch?

Leider konnte ich keine vernünftige Aussage im Netzt finden, und hoffe nun das Ihr mir dabei helfen könnt.

Viele Grüße,
elpado

von **Anzeige von ABAKUS** »

Beitrag von **om-labs** » 13.03.2012, 11:45

Sitemap ist als eine Art ein Hinweis zu verstehen.

Wird auch weiterhin normal gecrawlt.

Beitrag von **Lika** » 13.03.2012, 12:06

Genau, der Bot nimmt es als Hinweis von dir auf. Wenn deine Seite aber interne Links hat, wird Google auch die verfolgen. Hast du den zusätzlich schon deine Sitemap in WMT integriert, dann siehst du welche Seiten von Google erfasst wurden.

von **Anzeige von ABAKUS** »

Beitrag von **CyberNibbler** » 13.03.2012, 14:14

Lika hat geschrieben:Genau, der Bot nimmt es als Hinweis von dir auf. Wenn deine Seite aber interne Links hat, wird Google auch die verfolgen. Hast du den zusätzlich schon deine Sitemap in WMT integriert, dann siehst du welche Seiten von Google erfasst wurden.

WMT zeigt doch nur die Anzahl der eingereichten und der davon indexierten Seiten aus der Sitemap an?