Adsense und Robots.txt

Beitrag von **Ralf** » 24.02.2004, 09:13

Hallo zusammen,

wie sollte die korrekte robots.txt aussehen.
Es darf jeder robot die Site ohne Einschränkung durchsuchen.
Google schreibt ja:

Falls Sie über eine Datei mit dem Namen robots.txt verfügen, müssen Sie diese entfernen oder die beiden folgenden Zeilen in der Datei robots.txt hinzufügen, damit unser Content-Bot Ihre Website crawlen kann:

User-agent: Mediapartners-Google*
Disallow:

Wäre dann dieser Eintrag in der robots.txt korrekt ?

User-agent: *
Disallow:
User-agent: Mediapartners-Google*
Disallow:

Grüsse

Ralf

von **Anzeige von ABAKUS** »

Beitrag von **viggen** » 24.02.2004, 09:22

Hallo Ralf,

Ich habe an meiner robots.txt nichts verändert und der mediabot findet alle Seiten ohne Probleme, die aussage entfernen sie die robots.txt halte ich für verwirrend und sollte ignoriert werden.

mfg
viggen

Beitrag von **Ralf** » 24.02.2004, 11:15

Hallo viggen,

wenn du nichts geändert hast und bei dir alles funktioniert bzw. gespidert wird......
Dann werde ich auch nichts ändern.

Grüsse
Ralf

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **daniel_k** » 24.02.2004, 11:28

Hallo Ralf,

an meiner robots.txt ist auch nichts verändert und der Mediabot findet die Seiten trotzdem. Meisstens bringen die Besucher mit Google-Tollbar den Mediabot im Schlepptau mit.

Beitrag von **CMA** » 24.02.2004, 12:36

Klappt alles ohne Probleme bei mir auch ohne robots.txt.
Hatte nie eine und brauche auch keine. Vielleicht mache ich mal eine wenns nix besseres zu tun gibt

Beitrag von **firstlevel** » 24.02.2004, 13:31

sieht bei uns übrigens ähnlich aus. wir fanden die aussage auch ein wenig verwirrend, haben sie aber ignoriert.

greetings