ich habe folgendes Problem und auch nach einigem Suchen keine Antwort hier gefunden.
Ich habe vor einigen Tagen auf einer meiner Seiten eine .htaccess mit folgendem Inhalt angelegt:
ErrorDocument 404 /404.php
um mögliche Fehler abzufangen.
Jetzt habe ich gesehen das die letzten 3 Nächte jede Nacht der GoogleBot auf der Seite war und nur die /index.php und die /404.php gespidert hat. Das macht der jede Nacht so.
Das Problem dabei ist, das die Seite schon richtig gut in Google drin war und jetzt nur noch "Überreste" im Index sind.
Kann es sein, das das an der .htaccess liegt und Google deshalb nur die 404.php liesst und nicht tiefer geht?!
Heute Nacht war sogar der MSNBOT da und der hat die ganze Seite gespidert, ohne Probleme.