Seite 1 von 1
Nur URLs in der Sitemap crawlen?
Verfasst: 22.04.2009, 20:52
von HariboGold
Ist es möglich das nur die URLs in der Sitemap gecrawlt werden sollen? Was muss ich an der robots.txt ändern?
Ich bedanke mich schon mal im Voraus für eure Antworten.
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 22.04.2009, 20:55
von TBT
in der Sitemap sollten doch nur URL drinstehen ???
Verfasst: 22.04.2009, 20:57
von HariboGold
ja genau, und nur die URLs sollen gecrawlt werden.
Verfasst: 23.04.2009, 06:37
von catcat
Ehm... Du willst, das ausschließlich die Sitemap gecrawlt werden soll und die anderen Seiten Deiner Website nicht? Oder wie?
Verfasst: 23.04.2009, 08:47
von gnark
catcat hat geschrieben:Ehm... Du willst, das ausschließlich die Sitemap gecrawlt werden soll und die anderen Seiten Deiner Website nicht? Oder wie?
ich glaube das will er
Verfasst: 23.04.2009, 09:29
von catcat
Sowat?:
Sitemap: /sitemap.xml
User-agent: *
Allow: /sitemap.xml
Disallow: /*
Verfasst: 23.04.2009, 13:43
von chrizz
was meinst du mit crawlen? In den Index aufnehmen, oder nur Besuche durch den GoogleBot?
Klar kannst du das machen, das nur Seiten, die auch in der Sitemap stehen gecrawlt werden. Allerdings solltest du dann, um die robots.txt überschaubar zu halten, die Struktur deiner Seite entsprechend anpassen (z.B: ein Extra-Dir: /uncrawlbar/, dass per robots.txt ausgeschlossen wird).
Wenn du mit crawlen nicht indizieren meinst, dann solltest du dir mal das MetaTag robot noindex anschauen...
Je nachdem wie deine Seite technisch aussieht kann man da was sinnvolles & einfaches aufsetzen...
