ich habe heute mit bedauern festellen müssen, dass der Alexa Crawler irgendwie durch meinen ACP gekommen ist und mir die Hälfte meiner Einträge gelöscht hat. Mein ACP ist passwort-geschützt, ich kann mir nicht erklären wie es geschah. Ich habe mir meinen ApacheLogs angeschaut und da den Alexa Crawler entdeckt, hier ein Auszug:
So hat er alle meine Subcats gelöscht + anderer Einträge, ich habe es gestern bemerkt und es via robots.txt gesperrt.
User-agent: ia_archiver
Disallow:/
Sowas ist seltsam, wie kann der Crawler auf einen mit passwort geschützen Bereich gelangen. Ich habe mir schon überlegt wegen meinen FireFox Addons "Alexa Sparky" und "Search Status". Vlt. hat es irgendwie die falschen Daten übertragen, was aber theoretisch nicht sein kann.
Nachtrag :
Es war mein Fehler, mein ACP-Login hat hinter einem Location Header einen Abbruch, da der Alexa Crawler den Header ignoriert, konnte es sich so beim ACP einloggen.