ABAKUS

Hallo,

in der robts.txt kann mit allow angeben welche Bereiche der Webwanderer durchforsten darf, mit disallow welche nicht.

Wenn ich jetzt zum Beispiel


CODE
User-agent: *
Allow: /c_crawler/crawler.html
Allow: /c_crawler/crawler_forum/root.html



in die robots.txt-datei schreibe indexiert der Webwanderer dann nur diese beiden Dateien oder werden diese dann "bevorzugt" durchforstet?

Die beiden oben angebenen Datein sind Sitemaps von Chip Online (
https://www.chip.de/c_crawler/crawler.html )

Gruß
Hexemer