robots.txt - allow

[Hexemer]

Hallo,

in der robts.txt kann mit allow angeben welche Bereiche der Webwanderer durchforsten darf, mit disallow welche nicht.

Wenn ich jetzt zum Beispiel


CODE
User-agent: *
Allow: /c_crawler/crawler.html
Allow: /c_crawler/crawler_forum/root.html



in die robots.txt-datei schreibe indexiert der Webwanderer dann nur diese beiden Dateien oder werden diese dann "bevorzugt" durchforstet?

Die beiden oben angebenen Datein sind Sitemaps von Chip Online (
https://www.chip.de/c_crawler/crawler.html )

Gruß
Hexemer

[viggen]

Grundsätzlich ist die robots.txt ein exclusion protocoll,

Also, alles ist für den Spider erlaubt, ausser die Bereiche, die man ausdrücklich in der robots.txt ausgeschlossen hat.

mfg
viggen

[Hexemer]

Also hat die allow-Angabe keinen größeren Sinn?