Google Sitemaps Fehler: robots.txt unreachable

[holch]

Habe das erste Mal mit Google Sitemaps gespielt und für eine kleine Seite eine Sitemap angelegt, besser gesagt ein WordPress-Plugin hat das für mich gemacht.

Wenn ich mich jetzt aber in Google Sitemaps einlogge bekomme ich von Google mitgeteilt, dass ein Fehler aufgetreten ist (das ist jetzt bestimmt schon 2 Wochen so).

Im Index hat Google auch nur die Startseite.

Der Fehlertext: 5xx error - robots.txt unreachable

OK, das ist doch mal ein klare Ansage. Die Robots.txt ist nicht erreichbar. Aber immer wenn ich sie Aufrufe wird sie ausgeliefert. Woran kann es liegen?

Ach ja, die robots.txt sieht so aus:

User-agent: *
Disallow: /kontakt/
Disallow: /impressum/

Grüße,
Holch

[slinky]

Also bei mir lag es an der .htaccess - Datei.

Frag mich aber bitte nicht, was ich da geändert hatte, damit es wieder funzt.

[Teiresias]

@holch

Ich hatte mal ein ähnliches Problem. Nach langem suchen lag der Fehler darin, dass die robots.txt nicht im UNIX-Format sondern im DOS-Format gespeichert war.

Die Server sollten damit heute eigentlich kein Problem mehr haben aber der G-Bot hatte wohl seine Schwierigkeiten damit.

@all

Will schnell "Hallo" sagen... Hi@all!! Danke bisher für alles.
Da ich nun auch Etwas beisteuern kann, melde ich mich zu Wort. Auf eine gute Zeit...

Tee

[holch]

@Teiresias: Hmmm, kann natürlich sein. Mal sehen, ob das was bringt und vor allem wie ich das jetzt ändere.

Bisher hatte Google aber mit meinen Robots.txt kein Problem. Naja, mal sehen wie ich das mache.

Gruß, Holch

[Teiresias]

Wenn Du nicht gerade den standart Editor von Win benutzt, sollte sich das irgendwo umstellen lassen. Bei UltraEdit kann man es beispielsweise im Menu 'Datei->Konvertieren->DOS nach UNIX' umstellen.

Bei anderen Editoren sollte es was Ähnliches sein...

Beste Grüße
Tee

[holch]

@Teiresias: Hab's gefunden. Konnte es einfach umstellen. Hab das ganze schon neu hochgeladen. Mal sehen ob es was bringt.

Habe auch mal in die .htaccess geschaut. Da stand auch 2mal das gleich drin (für mod_rewrite bei Wordpress). Habe eines davon rausgelöscht.

Mal sehen ob ich erfolgreich bin.

Gruß, Holger

[holch]

Irgendwie ist die Fehleranzeige verschwunden. Ich weiß jetzt nicht woran es lag, da ich drei Sachen gemacht habe:
- Site verifiziert
- Teile der .htaccess entfernt
- robtos.txt im Unix-Format erstellt.

Allerdings ist bisher durch die site:-Abfrage immer noch nur die Startseite drin. naja, mal abwarten.

Gruß, Holger