Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Erst mal Danke für die Antwort.t-rex hat geschrieben: Was siehst Du denn, wenn DU die robots.txt in einem Browser öffnest?
Was erscheint in den Logfiles, wenn DU die robots.txt oder eine Seite von der Domain im Browser aufrufst?...
Okay, scheint ja dann normal zu funktionieren.Zu Frage 1: ich sehe die robots.txt (ohne Fehler)
Zu Frage 2: im Logfile erscheine "ich", ganz normal mit Seite, IP, Browser ect.
...
Alle anderen Bots spidern nämlich weiterhin fröhlich auf dieser Domain herum und holen auch die robots.txt regelmäßig ab.
Hier würde ich mal ein paar Tests mit dem Übersetzungstool bzw. mit dem Mobile Browser ( glaube das war was mit /qwt in der Url ) fahren. Zusätzlich auch ein paar "Spider View" Tools und robots.txt Tester ausprobieren.Langsam vermute ich mein Provider blockt durch irgendein "Sicherheitsding" den G-bot.
Code: Alles auswählen
<pre>
<?
print_r($_SERVER);
?>
</pre>