Seite 1 von 1
Google und robots.txt
Verfasst: 15.11.2004, 10:17
von shapeshifter
Hallo,
stelle in meinen weblogs immer wieder fest, dass Google manchmal für mein robots.txt file eine "404", manchmal eine "200" Antwort erhält. Laut den gängingen Robots.txt-Checkern ist mit dem File selbst alles in Ornung.
Frag mich nur warum google manchmal mit einer "404" abgespeist wird ?
Kann dass an der Vergabe der Rechte liegen ?
gruss,
shapeshifter
Verfasst: 15.11.2004, 10:25
von LinkPop
Sind die entsprechenden Log-Einträge ansonsten völlig identisch?
Verfasst: 15.11.2004, 10:30
von shapeshifter
Ja sind sie - werde ca alle 2 Tage von Google besucht - gestern sogar 2mal.
Verwunderlich ist nur, dass das robots.txt file für google mal "200", mal "404" zurückgibt.
Habs jetzt mal auf chmod 755 gesetzt. Mal sehen ob das was bringt.
gruss
shapeshifter
Verfasst: 15.11.2004, 10:48
von LinkPop
Läuft bei Dir auch nur eine Domain auf diesem Account?
Ich frage deshalb, da es ja sein kann, daß eine zweite Domain auf ein Verzeichnis gerootet ist und Google für diese Domain eine robots.txt anfordert, welche in dem Verzeichnis nicht vorhanden ist. Wenn beide Domains im selben File gelogt werden, sieht man dort unter Umständen nur die Google-Anfrage nach "/", obwohl es sich um verschiedene Verzeichnisse handelt.
Verfasst: 15.11.2004, 11:08
von shapeshifter
Also auf diesem Account hab ich ziemlich viele Domains, d.h. viele Domains haben die gleiche IP!
Jedoch hat jede Domain ein eigenes Document-Root und ein eigenes robots.txt file.
Oder meinst du Google packt alle Domains aufgrund der gleichen IP in ein und dasselbe LOG ?
Meine Logs werden alle sparat für jede domain einzeln erstellt.
Gruss,
shapeshifter
Verfasst: 15.11.2004, 12:06
von LinkPop
Oder meinst du Google packt alle Domains aufgrund der gleichen IP in ein und dasselbe LOG ?
Nein, das hat nichts mit Google, sondern vielmehr mit der Server-Konfig zu tun.
Wenn jede Deiner Domains ein eigenes Logfile hat, trifft meine Vermutung nicht zu und die Ursache des 404ers muß woanders liegen.
Verfasst: 15.11.2004, 12:11
von shapeshifter
K - Danke für den Tip !
gruss
shapeshifter
