Wird nur meine Sitemap aus der robots.txt indiziert?

[elpado]

Halli Hallo,

ich stelle mir momentan folgende Frage:
Wenn ich in meiner robots.txt eine Sitemap angebe, werden dann nur noch die URLs aus der Sitemap indiziert, oder crawlt der Bot weiterhin meine Seite durch?

Leider konnte ich keine vernünftige Aussage im Netzt finden, und hoffe nun das Ihr mir dabei helfen könnt.

Viele Grüße,
elpado

[om-labs]

Sitemap ist als eine Art ein Hinweis zu verstehen.

Wird auch weiterhin normal gecrawlt.

[Lika]

Genau, der Bot nimmt es als Hinweis von dir auf. Wenn deine Seite aber interne Links hat, wird Google auch die verfolgen. Hast du den zusätzlich schon deine Sitemap in WMT integriert, dann siehst du welche Seiten von Google erfasst wurden.

[CyberNibbler]

Genau, der Bot nimmt es als Hinweis von dir auf. Wenn deine Seite aber interne Links hat, wird Google auch die verfolgen. Hast du den zusätzlich schon deine Sitemap in WMT integriert, dann siehst du welche Seiten von Google erfasst wurden.

WMT zeigt doch nur die Anzahl der eingereichten und der davon indexierten Seiten aus der Sitemap an?