Meine robots.txt - korrekt?

Beitrag von **Macindy** » 29.12.2004, 13:54

Hallo zusammen!

Könnten sich die Profis unter euch mal meine robots.txt ansehen ob da ein Syntaxfehler drin ist.
Lediglich Google soll erlaubt werden meine Site zu spidern. Dabei soll Google noch die Ausnahmen beachten.
Danke

Code: Alles auswählen

User-agent&#58; Googlebot
Disallow&#58; /attachment.php
Disallow&#58; /admincp/

User-agent&#58; *
Disallow&#58; /

von **Anzeige von ABAKUS** »

Beitrag von **Moddy** » 29.12.2004, 16:43

Mit

Code: Alles auswählen

User-agent&#58; * 
Disallow&#58; /

Sperrst du meiner Meinung nach auch Google aus denn * bedeutet jede Suchmaschine oder jeder Bot

Beitrag von **Sephyra** » 29.12.2004, 21:13

Hi Macindy,

analog diesem Beispiel: https://www.robotstxt.org/wc/faq.html#robotstxt sollte deine robots.txt so funktionieren, wie du es wünscht.

Beitrag von **Sololand** » 29.12.2004, 21:27

User-agent: Googlebot
Disallow: /attachment.php
Disallow: /admincp/

User-agent: *
Disallow: /

Warum nur google und wenn wirds doch eh ignoriert....

User-agent: *
Disallow: /

obwohl ich festgestellt habe, dass google nur den index spidert, wenn ich die Mediapartners google weg lasse

Beitrag von **Macindy** » 30.12.2004, 13:01

So wie es in den Logfiles aussieht funktioniert das auch so wie ich möchte. Google hält sich auch nicht an die robots.txt Empfehlung den ersten passenden Eintrag zu nehmen - sondern den besten passenden Eintrag. Man könnte also auch die Googlebot-Anweisung ganz nach unten schieben.

Ist es korrekt, dass ich nichts explizit erlauben muss, sondern nur die disallows angeben muss. Wäre ein Allow: / (in der Google FAQ zu finden) oder ein Disallow: sinnvoll?

Beitrag von **Pompom** » 30.12.2004, 13:28

Es gibt eigentlich kein Allow, sondern nur ein Disallow.
Alles was nicht verboten ist, ist erlaubt.

Falls Du explizit nichts verbieten möchtest, würde ein Eintrag (der normalerweise nur den Standard widergibt) lauten:

User-agent: *
Disallow: