Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

robots.txt Seite explizieht erlauben

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Neues Thema Antworten
tingting
PostRank 4
PostRank 4
Beiträge: 107
Registriert: 18.10.2004, 09:49
Wohnort: München

Beitrag von tingting » 06.02.2007, 09:44

hallo liebe leute,

hab da mal eine frage die ihr bestimmt leicht lösen könnt.

so sieht meine robots.tst aus:
User-agent: *
Disallow: /intershoproot/
Disallow: /cgi/
Disallow: /is-bin/
Disallow: extern.cgi

so ist die URL der Startseite (nach ridirect)
https://www.???.de/is-bin/INTERSHOP.enfi ... ront-Start
die URL der Unterseiten lautet dann wiefolgt:
https://www.???.de/is-bin/INTERSHOP.enfi ... Linktype=G

da alle seiten im Unterverzeichniss /is-bin/ ist, sind diese Seiten von robots.txt gespert
Gibt es eine Möglichkeit nur die Startseite für die Bots "Crawbar" zu machen?

Vielen Dank!