Nur URLs in der Sitemap crawlen?

Beitrag von **HariboGold** » 22.04.2009, 20:52

Ist es möglich das nur die URLs in der Sitemap gecrawlt werden sollen? Was muss ich an der robots.txt ändern?

Ich bedanke mich schon mal im Voraus für eure Antworten.

von **Anzeige von ABAKUS** »

Beitrag von **TBT** » 22.04.2009, 20:55

in der Sitemap sollten doch nur URL drinstehen ???

Beitrag von **HariboGold** » 22.04.2009, 20:57

ja genau, und nur die URLs sollen gecrawlt werden.

Beitrag von **catcat** » 23.04.2009, 06:37

Ehm... Du willst, das ausschließlich die Sitemap gecrawlt werden soll und die anderen Seiten Deiner Website nicht? Oder wie?

Beitrag von **gnark** » 23.04.2009, 08:47

catcat hat geschrieben:Ehm... Du willst, das ausschließlich die Sitemap gecrawlt werden soll und die anderen Seiten Deiner Website nicht? Oder wie?

ich glaube das will er

Beitrag von **catcat** » 23.04.2009, 09:29

Sowat?:

Sitemap: /sitemap.xml
User-agent: *
Allow: /sitemap.xml
Disallow: /*

Beitrag von **chrizz** » 23.04.2009, 13:43

was meinst du mit crawlen? In den Index aufnehmen, oder nur Besuche durch den GoogleBot?
Klar kannst du das machen, das nur Seiten, die auch in der Sitemap stehen gecrawlt werden. Allerdings solltest du dann, um die robots.txt überschaubar zu halten, die Struktur deiner Seite entsprechend anpassen (z.B: ein Extra-Dir: /uncrawlbar/, dass per robots.txt ausgeschlossen wird).
Wenn du mit crawlen nicht indizieren meinst, dann solltest du dir mal das MetaTag robot noindex anschauen...
Je nachdem wie deine Seite technisch aussieht kann man da was sinnvolles & einfaches aufsetzen...