Google und robots.txt

Beitrag von **shapeshifter** » 15.11.2004, 10:17

Hallo,

stelle in meinen weblogs immer wieder fest, dass Google manchmal für mein robots.txt file eine "404", manchmal eine "200" Antwort erhält. Laut den gängingen Robots.txt-Checkern ist mit dem File selbst alles in Ornung.

Frag mich nur warum google manchmal mit einer "404" abgespeist wird ?

Kann dass an der Vergabe der Rechte liegen ?

gruss,

shapeshifter

von **Anzeige von ABAKUS** »

Beitrag von **LinkPop** » 15.11.2004, 10:25

Sind die entsprechenden Log-Einträge ansonsten völlig identisch?

Beitrag von **shapeshifter** » 15.11.2004, 10:30

Ja sind sie - werde ca alle 2 Tage von Google besucht - gestern sogar 2mal.
Verwunderlich ist nur, dass das robots.txt file für google mal "200", mal "404" zurückgibt.
Habs jetzt mal auf chmod 755 gesetzt. Mal sehen ob das was bringt.

gruss

shapeshifter

Beitrag von **LinkPop** » 15.11.2004, 10:48

Läuft bei Dir auch nur eine Domain auf diesem Account?

Ich frage deshalb, da es ja sein kann, daß eine zweite Domain auf ein Verzeichnis gerootet ist und Google für diese Domain eine robots.txt anfordert, welche in dem Verzeichnis nicht vorhanden ist. Wenn beide Domains im selben File gelogt werden, sieht man dort unter Umständen nur die Google-Anfrage nach "/", obwohl es sich um verschiedene Verzeichnisse handelt.

Beitrag von **shapeshifter** » 15.11.2004, 11:08

Also auf diesem Account hab ich ziemlich viele Domains, d.h. viele Domains haben die gleiche IP!
Jedoch hat jede Domain ein eigenes Document-Root und ein eigenes robots.txt file.

Oder meinst du Google packt alle Domains aufgrund der gleichen IP in ein und dasselbe LOG ?

Meine Logs werden alle sparat für jede domain einzeln erstellt.

Gruss,

shapeshifter

Beitrag von **LinkPop** » 15.11.2004, 12:06

Oder meinst du Google packt alle Domains aufgrund der gleichen IP in ein und dasselbe LOG ?

Nein, das hat nichts mit Google, sondern vielmehr mit der Server-Konfig zu tun.

Wenn jede Deiner Domains ein eigenes Logfile hat, trifft meine Vermutung nicht zu und die Ursache des 404ers muß woanders liegen.

Beitrag von **shapeshifter** » 15.11.2004, 12:11

K - Danke für den Tip !

gruss

shapeshifter