robots.txt Seite explizieht erlauben

[tingting]

hallo liebe leute,

hab da mal eine frage die ihr bestimmt leicht lösen könnt.

so sieht meine robots.tst aus:
User-agent: *
Disallow: /intershoproot/
Disallow: /cgi/
Disallow: /is-bin/
Disallow: extern.cgi

so ist die URL der Startseite (nach ridirect)
https://www.???.de/is-bin/INTERSHOP.enf ... ront-Start
die URL der Unterseiten lautet dann wiefolgt:
https://www.???.de/is-bin/INTERSHOP.enf ... Linktype=G

da alle seiten im Unterverzeichniss /is-bin/ ist, sind diese Seiten von robots.txt gespert
Gibt es eine Möglichkeit nur die Startseite für die Bots "Crawbar" zu machen?

Vielen Dank!

[Anonymous]

Mit der robots.txt kannst Du nur den Aufruf von Seiten verbieten, d.h. das /is-bin/ muss aus Deiner robots.txt raus.

Ausserdem musst Du die sid aus den Links entfernen, sie wird nur einmal vergeben und beim nächsten Aufruf erzeugt sie u.U. eine Fehlerseite.

Wie kommt es eigentlich zu dem Horrorlink?

[twitch]

Mit der robots.txt kannst Du nur den Aufruf von Seiten verbieten

NEIN!
https://www.seo-ranking-tools.de/ratgeb ... s-txt.html

[tingting]

ich habe die domain verschleiert...
wollte meinen Kunden nicht preisgeben.

ich dachte es wäre möglich eine seite explizieht "freizugeben"

[twitch]

musst du per .htacces oder PHP machen.
Oder direkt über apache geht das glaube ich auch...

[danielr]

@tingting

da dein Kunde Enfinity Suite 6 einsetzt, solltest du für die Suchmaschinenoptimierung das Intershop URL Rewrite Engine Solution Kit einsetzen. Damit löst du das URL-Problem bei deinem Kunden komplett und elegant ... und sehr suchmaschinenfreundlich. In Suite 6.2 ist dies Standard.

Gruß,
Danielr