ABAKUS

Hallo zusammen!

Könnten sich die Profis unter euch mal meine robots.txt ansehen ob da ein Syntaxfehler drin ist.
Lediglich Google soll erlaubt werden meine Site zu spidern. Dabei soll Google noch die Ausnahmen beachten.
Danke

Mit
Sperrst du meiner Meinung nach auch Google aus denn * bedeutet jede Suchmaschine oder jeder Bot

Hi Macindy,

analog diesem Beispiel: https://www.robotstxt.org/wc/faq.html#robotstxt sollte deine robots.txt so funktionieren, wie du es wünscht.

User-agent: Googlebot
Disallow: /attachment.php
Disallow: /admincp/

User-agent: *
Disallow: /

Warum nur google und wenn wirds doch eh ignoriert....

User-agent: *
Disallow: /

obwohl ich festgestellt habe, dass google nur den index spidert, wenn ich die Mediapartners google weg lasse

So wie es in den Logfiles aussieht funktioniert das auch so wie ich möchte. Google hält sich auch nicht an die robots.txt Empfehlung den ersten passenden Eintrag zu nehmen - sondern den besten passenden Eintrag. Man könnte also auch die Googlebot-Anweisung ganz nach unten schieben.

Ist es korrekt, dass ich nichts explizit erlauben muss, sondern nur die disallows angeben muss. Wäre ein Allow: / (in der Google FAQ zu finden) oder ein Disallow: sinnvoll?

Es gibt eigentlich kein Allow, sondern nur ein Disallow.
Alles was nicht verboten ist, ist erlaubt.

Falls Du explizit nichts verbieten möchtest, würde ein Eintrag (der normalerweise nur den Standard widergibt) lauten:

User-agent: *
Disallow: