Google findet robots.txt nicht

[Patti]

Moin moin,

Google's Webmaster Tools zeigt mir an, dass es seit mind. 10 Stunden die robots.txt nicht finden kann (404 Fehler). Die Datei ist da und ich kann auch (im Hauptverzeichnis) von verschiedenen Orten/Computern darauf zugreifen.

Kann mir jemand sagen, woran dass liegt?

Danke und viele Grüße,
Patti

[Pompom]

10 Stunden die robots.txt nicht finden kann (404 Fehler). Die Datei ist da und ich kann auch (im Hauptverzeichnis) von verschiedenen Orten/Computern darauf zugreifen.

Dann wird sie wohl woanders sein, als da, wo Google sucht, denn sonst würde Google keinen Error 404 bekommen.

[ingamint]

Im Webserver-Fehler-Log nachsehen (z.B./var/log/apache2/error.log)

[Patti]

Guter Punkt - nur wo sucht Google dann? Die robots.txt liegt (und lag da auch schon länger) im Hauptverzeichnis der Domain und wurde bisher auch gefunden. Ich bin felsenfest davon überzeugt, dass ich nichts geändert habe

Ein ähnliches Problem habe ich mit meiner Sitemap. Wenn ich im WT versuche eine Sitemap einzureichen, dann behauptet erhalte ich auch einen 404 - dabei sucht Google nicht mal nach der Datei. Wenn ich "index.html" vorschlage, dann wird diese Sitemap angenommen (und als fehlerhaft identifiziert). Nur auch hier kann ich keinen Zugriff auf meinen Server auf die index.html sehen. Die gibt's bei mir gar nicht !?

Etwas ratlos,
Patti

[Patti]

Im Webserver-Fehler-Log nachsehen (z.B./var/log/apache2/error.log)

schon geschaut - weder im error noch im access log findet sich hierzu etwas. Bzw. die robots.txt taucht im access log auf - allerdings für andere Spider ...

[Autovermieter]

Genau das gleiche Problem hatte ich vor 4 Wochen und die Lösung findest Du hier:

https://blog.xantiva.de/archives/67-Net ... chbar.html

Es lag bei mir exakt daran...ich war deshalb 4 Wochen aus dem Index draussen

Viel Glück