Robots.txt: Nur eine Datei (/) zulassen

Beitrag von **mcchaos** » 26.04.2005, 09:33

Hallo!

Wie muß meine robots.txt aussehen, wenn ich nur zulassen will, dass alle Spider NUR die Datei www.domain.de/ (entspricht www.domain.de/index.htm) abrufen können, aber nicht z.B. www.domain.de/hallo.htm oder auch nicht www.domain.de/ordner/?

Viele Grüße!

von **Anzeige von ABAKUS** »

Beitrag von **Wirths Media** » 26.04.2005, 12:29

Schau mal hier:

https://www.searchcode.de/robotstxt.php

vielleicht hillft Dir das ja weiter

Beitrag von **mcchaos** » 26.04.2005, 12:33

Danke. Habe mir schon einiges angesehen, evtl. ist mein Wunsch gar nicht möglich. Das Problem ist, dass ich immer nur "disallow"en kann, aber nicht nachträglich etwas erlauben kann, z.B.

User-agent: *
Disallow: /

Ich brächte halt was wie:

User-agent: *
Disallow: /
Allow: index.htm

oder so....

Beitrag von **Wirths Media** » 26.04.2005, 12:36

Hast Du schon mal an die .htaccess gedacht???

Müsste eigentlich damit gehen glaube ich??

Aber wie kann ich dir leider auch nicht sagen

Beitrag von **mcchaos** » 26.04.2005, 12:47

Hm, gute Idee. Was schickt man denn in der .htaccess, wenn man den Zugriff "verbietet"? Einfach eine 404 oder 410?

Beitrag von **Wirths Media** » 26.04.2005, 12:53

User-agent: *
Disallow: /temp/
Allow: /temp/daily.html

Da die Allow Anweisung aber erst später als der eigentliche Standard eingeführt wurde, wird sie noch nicht von allen Robots unterstützt. Von daher sollte man sich nicht darauf verlassen und lieber nur Disallow benutzen.

Hab ich von hier...

https://www.bjoernsworld.de/suchmaschin ... s-txt.html

Musste dann ja so funktionieren:

User-agent: *
Disallow: /
Allow: /index.htm

Beitrag von **mcchaos** » 26.04.2005, 13:26

Danke, ich versuchs mal, es reicht ja, wenn Tante Google es rafft

Beitrag von **robo** » 26.04.2005, 19:39

mcchaos hat geschrieben:Hm, gute Idee. Was schickt man denn in der .htaccess, wenn man den Zugriff "verbietet"? Einfach eine 404 oder 410?

403

cu, Robo