Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

robots.txt - allow

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Hexemer
PostRank 2
PostRank 2
Beiträge: 40
Registriert: 06.01.2004, 22:23

Beitrag von Hexemer » 11.03.2004, 11:20

Hallo,

in der robts.txt kann mit allow angeben welche Bereiche der Webwanderer durchforsten darf, mit disallow welche nicht.

Wenn ich jetzt zum Beispiel


CODE
User-agent: *
Allow: /c_crawler/crawler.html
Allow: /c_crawler/crawler_forum/root.html



in die robots.txt-datei schreibe indexiert der Webwanderer dann nur diese beiden Dateien oder werden diese dann "bevorzugt" durchforstet?

Die beiden oben angebenen Datein sind Sitemaps von Chip Online (
https://www.chip.de/c_crawler/crawler.html )

Gruß
Hexemer

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


viggen
PostRank 10
PostRank 10
Beiträge: 6249
Registriert: 12.05.2003, 14:44

Beitrag von viggen » 11.03.2004, 11:21

Grundsätzlich ist die robots.txt ein exclusion protocoll,

Also, alles ist für den Spider erlaubt, ausser die Bereiche, die man ausdrücklich in der robots.txt ausgeschlossen hat.

mfg
viggen

Hexemer
PostRank 2
PostRank 2
Beiträge: 40
Registriert: 06.01.2004, 22:23

Beitrag von Hexemer » 11.03.2004, 11:26

Also hat die allow-Angabe keinen größeren Sinn?

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag