robots.txt Seite explizieht erlauben
Verfasst: 06.02.2007, 09:44
hallo liebe leute,
hab da mal eine frage die ihr bestimmt leicht lösen könnt.
so sieht meine robots.tst aus:
User-agent: *
Disallow: /intershoproot/
Disallow: /cgi/
Disallow: /is-bin/
Disallow: extern.cgi
so ist die URL der Startseite (nach ridirect)
https://www.???.de/is-bin/INTERSHOP.enf ... ront-Start
die URL der Unterseiten lautet dann wiefolgt:
https://www.???.de/is-bin/INTERSHOP.enf ... Linktype=G
da alle seiten im Unterverzeichniss /is-bin/ ist, sind diese Seiten von robots.txt gespert
Gibt es eine Möglichkeit nur die Startseite für die Bots "Crawbar" zu machen?
Vielen Dank!
hab da mal eine frage die ihr bestimmt leicht lösen könnt.
so sieht meine robots.tst aus:
User-agent: *
Disallow: /intershoproot/
Disallow: /cgi/
Disallow: /is-bin/
Disallow: extern.cgi
so ist die URL der Startseite (nach ridirect)
https://www.???.de/is-bin/INTERSHOP.enf ... ront-Start
die URL der Unterseiten lautet dann wiefolgt:
https://www.???.de/is-bin/INTERSHOP.enf ... Linktype=G
da alle seiten im Unterverzeichniss /is-bin/ ist, sind diese Seiten von robots.txt gespert
Gibt es eine Möglichkeit nur die Startseite für die Bots "Crawbar" zu machen?
Vielen Dank!