Forum > SEO & Online Marketing & Social Media

OlliS

So, jetzt konnte ich die Logs untersuchen. Google tauscht weder in den Access- noch in den Errorlogs auf. Von anderen Spidern wie MSN oder Yahoo werde ich aber noch besucht.
Das kann doch nur bedeuten, dass die Googleips geblockt werden, oder?

Gruß,

Olli

OlliS

@Heino: Ich habs eben noch einmal probiert, ich bekomme immer noch 200. In dem Ausschnitt, den du gepostet hast, ist robots.txt falsch geschrieben. Liegt es villeicht daran?

@seonewbie: Die robots.txt steht auf 755, das sollte also kein Problem sein.

Gruß,

Olli

OlliS

@Heino: Auch dieses Tool meldet 200, wenn ich die robots.txt mit www aufrufe. Nur ohne www kommt 404. In den Webmastertools habe ich nichts definiert. In die Logs kann ich gerade nicht schauen, da ich hier nur über Modem ins Netz komme. Ich werde aber mal versuchen, was passiert wenn ich die Seite (...

OlliS

Die Leerzeichen hatte ich testweise entfernt, die sollten aber sowieso optional sein.

OlliS

Die Leerzeichen hatte ich testweise entfernt, die sollten aber sowieso optional sein.

OlliS

Nein, sicher nicht. Aber wenn meine robots.txt aus welchen Gründen auch immer für Google nicht lesbar ist (was die Fehlermeldung in den Webmastertools ja sagt), werde ich nicht indiziert.
Einen Reinclusionrequest den ich vor einigen Wochen gestellt habe hat bis jetzt noch kein Ergebnis gebracht.

OlliS

@Mamboo: Der Syntaxchecker findet keinen Fehler. @wolli: Ich denke du meintest web-sniffer.net? Das meldet mir Status 200 und den richtigen Inhalt der Datei. Nur wenn ich einen HTTP1.0 Request ohne "Host Header" mache, kommt der Fehler 404. Daran dürfte es doch aber nicht liegen, der Googl...

OlliS

Hallo, vor einiger Zeit ist meine Seite https://www.e-dschungel.de aus dem Googleindex geflogen. Die Webmastertools zeigen als Problem an, dass robots.txt nicht erreichbar sein soll. Ich habe bisher überprüft: - die robots.txt ist da, abrufbar und valide - sie ist im UNIX-Format gespeichert und wird...

Die Suche ergab 8 Treffer

robots.txt nicht erreichbar