ABAKUS

Hallo zusammen,

wie sollte die korrekte robots.txt aussehen.
Es darf jeder robot die Site ohne Einschränkung durchsuchen.
Google schreibt ja:

Falls Sie über eine Datei mit dem Namen robots.txt verfügen, müssen Sie diese entfernen oder die beiden folgenden Zeilen in der Datei robots.txt hinzufügen, damit unser Content-Bot Ihre Website crawlen kann:

User-agent: Mediapartners-Google*
Disallow:

Wäre dann dieser Eintrag in der robots.txt korrekt ?

User-agent: *
Disallow:
User-agent: Mediapartners-Google*
Disallow:

Grüsse

Ralf

Hallo Ralf,

Ich habe an meiner robots.txt nichts verändert und der mediabot findet alle Seiten ohne Probleme, die aussage entfernen sie die robots.txt halte ich für verwirrend und sollte ignoriert werden.

mfg
viggen

Hallo viggen,

wenn du nichts geändert hast und bei dir alles funktioniert bzw. gespidert wird......
Dann werde ich auch nichts ändern.

Grüsse
Ralf

Hallo Ralf,

an meiner robots.txt ist auch nichts verändert und der Mediabot findet die Seiten trotzdem. Meisstens bringen die Besucher mit Google-Tollbar den Mediabot im Schlepptau mit.

Klappt alles ohne Probleme bei mir auch ohne robots.txt.
Hatte nie eine und brauche auch keine. Vielleicht mache ich mal eine wenns nix besseres zu tun gibt

sieht bei uns übrigens ähnlich aus. wir fanden die aussage auch ein wenig verwirrend, haben sie aber ignoriert.

greetings