ABAKUS

Schau mal hier:

https://www.searchcode.de/robotstxt.php

vielleicht hillft Dir das ja weiter

Danke. Habe mir schon einiges angesehen, evtl. ist mein Wunsch gar nicht möglich. Das Problem ist, dass ich immer nur "disallow"en kann, aber nicht nachträglich etwas erlauben kann, z.B.

User-agent: *
Disallow: /

Ich brächte halt was wie:

User-agent: *
Disallow: /
Allow: index.htm

oder so....

Hast Du schon mal an die .htaccess gedacht???

Müsste eigentlich damit gehen glaube ich??

Aber wie kann ich dir leider auch nicht sagen

Hm, gute Idee. Was schickt man denn in der .htaccess, wenn man den Zugriff "verbietet"? Einfach eine 404 oder 410?

User-agent: *
Disallow: /temp/
Allow: /temp/daily.html

Da die Allow Anweisung aber erst später als der eigentliche Standard eingeführt wurde, wird sie noch nicht von allen Robots unterstützt. Von daher sollte man sich nicht darauf verlassen und lieber nur Disallow benutzen.


Hab ich von hier...

https://www.bjoernsworld.de/suchmaschin ... s-txt.html




Musste dann ja so funktionieren:


User-agent: *
Disallow: /
Allow: /index.htm

Danke, ich versuchs mal, es reicht ja, wenn Tante Google es rafft

mcchaos hat geschrieben:Hm, gute Idee. Was schickt man denn in der .htaccess, wenn man den Zugriff "verbietet"? Einfach eine 404 oder 410?

403

cu, Robo