robots.txt nicht erreichbar

Beitrag von **OlliS** » 17.08.2007, 18:48

Hallo,

vor einiger Zeit ist meine Seitehttps://www.e-dschungel.de aus dem Googleindex geflogen. Die Webmastertools zeigen als Problem an, dass robots.txt nicht erreichbar sein soll.
Ich habe bisher überprüft:

- die robots.txt ist da, abrufbar und valide
- sie ist im UNIX-Format gespeichert und wird als plain/text ausgeliefert
- der Hoster sagt, Google Ips seien nicht gesperrt
- die Domain ist weltweit erreichbar, DNS Probleme sollte es keine geben
- Google wird nicht durch die htaccess ausgesperrt

Hat jemand eine Idee woran es noch liegen könnte?

Gruß,

Olli

von **Anzeige von ABAKUS** »

Beitrag von **Mamboo** » 17.08.2007, 19:26

Hilfe findest du auf der folgenden Seite! Da gibt es ein Link, wo du dein R überprüfen lassen kannst!

https://www.art2digital.com/new-media/s ... t-faq.html

Viel Erfolg!

Beitrag von **wolli** » 17.08.2007, 19:51

check mal den Aufruf der robots.txt über sniffer.net

nette Grüße
wolli

von **Anzeige von ABAKUS** »

Beitrag von **OlliS** » 18.08.2007, 09:45

@Mamboo: Der Syntaxchecker findet keinen Fehler.

@wolli: Ich denke du meintest web-sniffer.net? Das meldet mir Status 200 und den richtigen Inhalt der Datei. Nur wenn ich einen HTTP1.0 Request ohne "Host Header" mache, kommt der Fehler 404. Daran dürfte es doch aber nicht liegen, der Googlebot sollte doch den Host immer mit senden, sonst geht das ja auch allen vhosts nicht.

Gruß,

Olli

Beitrag von **Fantastixxx** » 18.08.2007, 10:14

Du bist doch nicht wegen einer eventuell mangelhaften robots.txt rausgeflogen. Kann ich mir nicht vorstellen, es sein denn es wäre noindex, nofollow drin.

Du hast nen DMOZ Eintrag also an den fehlenden Links mangelt es nicht. Schau dir nochmal alles genau an und mach nen Reinclusion-Request.

Beitrag von **OlliS** » 18.08.2007, 15:38

Nein, sicher nicht. Aber wenn meine robots.txt aus welchen Gründen auch immer für Google nicht lesbar ist (was die Fehlermeldung in den Webmastertools ja sagt), werde ich nicht indiziert.
Einen Reinclusionrequest den ich vor einigen Wochen gestellt habe hat bis jetzt noch kein Ergebnis gebracht.

Beitrag von **WilliWusel** » 22.08.2007, 09:34

OlliS hat geschrieben:Aber wenn meine robots.txt aus welchen Gründen auch immer für Google nicht lesbar ist (was die Fehlermeldung in den Webmastertools ja sagt), werde ich nicht indiziert.

Nach einem Doppelpunkt sollte immer ein Leerzeichen folgen.

Beitrag von **OlliS** » 22.08.2007, 10:04

Die Leerzeichen hatte ich testweise entfernt, die sollten aber sowieso optional sein.

Beitrag von **OlliS** » 22.08.2007, 10:24

Die Leerzeichen hatte ich testweise entfernt, die sollten aber sowieso optional sein.

Beitrag von **ole1210** » 22.08.2007, 10:29

Es geht um die Leerzeichen in der robots.txt- Die sind NICHT optional, sondern gehören da rein.

Beitrag von **heino** » 22.08.2007, 10:42

OlliS, was hast du in den Webmaster Tools als bevorzugte Domain festgelegt?

Falls es die Version ohne www ist, solltest du mal folgende Links aufrufen:
https://e-dschungel.de/
https://e-dschungel.de/robots.txt

Taucht der Googlebot in deinen Logfiles überhaupt auf?

Beitrag von **itz** » 22.08.2007, 11:03

Hallo zusammen,

habe das selbe Problem auf zwei Domains.

Beide sind allerdings im Index und sind jeweils nur über www. zu erreichen (mittels .htaccess gelöst, in den Webmastertools ist nichts definiert).

Witzig ist dass eine Seite allerdings gar keine robots.txt hat.
Und die andere sollte sauber sein.

Bin mir nicht sicher aber das erste mal ist das ganze vor vielleicht zwei Wochen aufgetaucht, eben habe ich gesehen dass die Anzahl der nicht gefundenen einmal von 34 auf 24 und von 5 auf 4 gefallen ist?

Keine Ahnung aber so lange ich im Index bin warte ich einfach mal ab

Gruß Chris

Beitrag von **heino** » 22.08.2007, 12:49

OlliS, versuch mal mit diesem Spielzeug (achtung: es ist nicht das altbekannte tool):
https://www.seoconsultants.com/tools/headers/
Es liefert nur 404er bei der robots.txt

Beitrag von **OlliS** » 23.08.2007, 12:47

@Heino: Auch dieses Tool meldet 200, wenn ich die robots.txt mit www aufrufe. Nur ohne www kommt 404.
In den Webmastertools habe ich nichts definiert. In die Logs kann ich gerade nicht schauen, da ich hier nur über Modem ins Netz komme.
Ich werde aber mal versuchen, was passiert wenn ich die Seite (und damit die robots.txt) auch ohne www errreichbar mache.

@ole1210: Laut robotstxt.org sind die Leerzeichen optional.

Wie auch immer sie sind wieder drin.

Gruß,

Olli

Beitrag von **seonewbie** » 23.08.2007, 13:47

Welche Rechte hast Du denn für die robot.txt vergeben?
Vielleicht liegt es einfach daran.

Gruß

Micha