Also das kann ich Dir noch gar nicht so genau sagen da müßte ich erst mal weiter nachsehen. Der Rest war mir auch egal, da die User nicht alle URLs kennen.Ist denn immer nur ein Bot aktiv? Oder haben alle User die gleichzeitig da sind diesen "Verfolger"?
Fakt ist, der Bot durchläuft ganz normal die Webseite wie sonst auch. Rufe ich nun eine neue Seite auf (nur neue, keine bereits vorhandene) dann ist noch ein Bot da der das auch tut. Das hatte mich schon lange genervt, da das Seiten sind die Mails auslösen oder Statistiken anzeigen. Die sind nur für mich und keinen anderen. Die sind auch nicht verlinkt.
Aber die Mail kommt z.B. zwei mal. Einmal mein Agent und einmal Google. Mein Backlinkchecker war auch schon im Index zu finden, obwohl nie verlinkt.
Adsense ist auf den Seiten auch nicht drauf, FF-Toolbar ist aktiv.
Hatte es erst gerade wieder. Hab ne neue Seite hochgeladen, noch nicht verlinkt da ich gerade am Texte schreiben und Bilder einbinden bin. Und was sagen die Logs.... Etliche Zugriffe von mir und einer von Google.
Und ich kann es noch weiter machen. Meine Kunden bekommen bei einer Neuanmeldung eine Mail mit einem Aktivierungslink. Der Link ist nur in der Mail sonst niergends. Und was meint Ihr wie oft der aktiviert wird? Mehrfach am Tag, die Kunden sind es aber nicht, ich bekomme noch nen Vogel, jedesmal nachsehen ist der nun neu oder doch nicht.
Das einzigste was bisher geholfen hat war die Scripte in einen htaccess geschützten Ordner auszulagern. Aber das geht bei den Anmeldebestätigungen ja nicht. Robots.txt hilft auch nicht. Gut, ost nicht im Index, aber Google greift drauf zu.
Gruß.