robots.txt nicht erreichbar

Beitrag von **heino** » 23.08.2007, 13:57

OlliS hat geschrieben:@Heino: Auch dieses Tool meldet 200, wenn ich die robots.txt mit www aufrufe. Nur ohne www kommt 404.

Ich erhalte was anderes, dabei ist noch nicht mal der GoogleBot als UA eingestellt.

1. Requesting: https://www.e-dschungel.de/robost.txt
GET /robost.txt HTTP/1.1
Connection: Keep-Alive
Keep-Alive: 300
Accept:*/*
Host: www.e-dschungel.de
Accept-Language: en-us
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)

Server Response: 404 Not Found
Date: Thu, 23 Aug 2007 12:54:53 GMT
Server: Apache/2.2.3 (Unix) DAV/2 mod_ssl/2.2.3 OpenSSL/0.9.8d PHP/5.2.0 mod_apreq2-20051231/2.5.7 mod_perl/2.0.2 Perl/v5.8.7
Content-Length: 387
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-1

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **OlliS** » 23.08.2007, 14:41

@Heino: Ich habs eben noch einmal probiert, ich bekomme immer noch 200. In dem Ausschnitt, den du gepostet hast, ist robots.txt falsch geschrieben. Liegt es villeicht daran?

@seonewbie: Die robots.txt steht auf 755, das sollte also kein Problem sein.

Gruß,

Olli

Beitrag von **seonewbie** » 23.08.2007, 21:23

https://e-dschungel.de/

Das gibt mir zu denken. Deine Domain sollte
auch unter http.// zu erreichen sein. Das ist
nicht der Fehler aber in der Richtung würde
ich suchen.

Gruß

Micha

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **OlliS** » 28.08.2007, 18:00

So, jetzt konnte ich die Logs untersuchen. Google tauscht weder in den Access- noch in den Errorlogs auf. Von anderen Spidern wie MSN oder Yahoo werde ich aber noch besucht.
Das kann doch nur bedeuten, dass die Googleips geblockt werden, oder?

Gruß,

Olli