robots.txt nicht erreichbar

[heino]

@Heino: Auch dieses Tool meldet 200, wenn ich die robots.txt mit www aufrufe. Nur ohne www kommt 404.

Ich erhalte was anderes, dabei ist noch nicht mal der GoogleBot als UA eingestellt.

1. Requesting: https://www.e-dschungel.de/robost.txt
GET /robost.txt HTTP/1.1
Connection: Keep-Alive
Keep-Alive: 300
Accept:*/*
Host: www.e-dschungel.de
Accept-Language: en-us
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)

Server Response: 404 Not Found
Date: Thu, 23 Aug 2007 12:54:53 GMT
Server: Apache/2.2.3 (Unix) DAV/2 mod_ssl/2.2.3 OpenSSL/0.9.8d PHP/5.2.0 mod_apreq2-20051231/2.5.7 mod_perl/2.0.2 Perl/v5.8.7
Content-Length: 387
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-1

[OlliS]

@Heino: Ich habs eben noch einmal probiert, ich bekomme immer noch 200. In dem Ausschnitt, den du gepostet hast, ist robots.txt falsch geschrieben. Liegt es villeicht daran?

@seonewbie: Die robots.txt steht auf 755, das sollte also kein Problem sein.

Gruß,

Olli

[seonewbie]

https://e-dschungel.de/

Das gibt mir zu denken. Deine Domain sollte
auch unter http.// zu erreichen sein. Das ist
nicht der Fehler aber in der Richtung würde
ich suchen.

Gruß

Micha

[OlliS]

So, jetzt konnte ich die Logs untersuchen. Google tauscht weder in den Access- noch in den Errorlogs auf. Von anderen Spidern wie MSN oder Yahoo werde ich aber noch besucht.
Das kann doch nur bedeuten, dass die Googleips geblockt werden, oder?

Gruß,

Olli