Alexa Crawler unberechtigter Zugriff?
Verfasst: 30.11.2008, 13:37
Hallo,
ich habe heute mit bedauern festellen müssen, dass der Alexa Crawler irgendwie durch meinen ACP gekommen ist und mir die Hälfte meiner Einträge gelöscht hat. Mein ACP ist passwort-geschützt, ich kann mir nicht erklären wie es geschah. Ich habe mir meinen ApacheLogs angeschaut und da den Alexa Crawler entdeckt, hier ein Auszug:
das war der erste Zugriff:
67.202.27.173 - - [24/Nov/2008:01:14:37 +0100] "GET /administrator/add/ HTTP/1.0" 302 167 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
hier war auch nix passiert. Es ging auch so weiter es hat sich systematisch hochgearbeitet und mein ganzes ACP gecrawlt und alle links ausgeführt.
Ein Beispiel:
67.202.27.173 - - [25/Nov/2008:11:54:53 +0100] "GET /administrator/category/edit/38 HTTP/1.0" 302 7468 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Das Schlimmste kommt jetzt:
67.202.27.173 - - [26/Nov/2008:05:00:25 +0100] "GET /administrator/category/delete/?id=38&subcat=35 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:25 +0100] "GET /administrator/category/edit/?id=38&del=false HTTP/1.0" 302 7657 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:30 +0100] "GET /administrator/category/delete/?id=38&subcat=36 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:35 +0100] "GET /administrator/category/delete/?id=38&subcat=37 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:35 +0100] "GET /administrator/category/edit/?id=38&del=true HTTP/1.0" 302 6955 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:43 +0100] "GET /administrator/category/delete/?id=38&subcat=38 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:49 +0100] "GET /administrator/category/delete/?id=38&subcat=39 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:55 +0100] "GET /administrator/category/delete/?id=38&subcat=40 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:01:00 +0100] "GET /administrator/category/delete/?id=38&subcat=54 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
6
usw.
So hat er alle meine Subcats gelöscht + anderer Einträge, ich habe es gestern bemerkt und es via robots.txt gesperrt.
User-agent: ia_archiver
Disallow:/
Sowas ist seltsam, wie kann der Crawler auf einen mit passwort geschützen Bereich gelangen. Ich habe mir schon überlegt wegen meinen FireFox Addons "Alexa Sparky" und "Search Status". Vlt. hat es irgendwie die falschen Daten übertragen, was aber theoretisch nicht sein kann.
Nachtrag :
Es war mein Fehler, mein ACP-Login hat hinter einem Location Header einen Abbruch, da der Alexa Crawler den Header ignoriert, konnte es sich so beim ACP einloggen.
Mit freundlichen Grüßen
Sergej K.
ich habe heute mit bedauern festellen müssen, dass der Alexa Crawler irgendwie durch meinen ACP gekommen ist und mir die Hälfte meiner Einträge gelöscht hat. Mein ACP ist passwort-geschützt, ich kann mir nicht erklären wie es geschah. Ich habe mir meinen ApacheLogs angeschaut und da den Alexa Crawler entdeckt, hier ein Auszug:
das war der erste Zugriff:
67.202.27.173 - - [24/Nov/2008:01:14:37 +0100] "GET /administrator/add/ HTTP/1.0" 302 167 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
hier war auch nix passiert. Es ging auch so weiter es hat sich systematisch hochgearbeitet und mein ganzes ACP gecrawlt und alle links ausgeführt.
Ein Beispiel:
67.202.27.173 - - [25/Nov/2008:11:54:53 +0100] "GET /administrator/category/edit/38 HTTP/1.0" 302 7468 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
Das Schlimmste kommt jetzt:
67.202.27.173 - - [26/Nov/2008:05:00:25 +0100] "GET /administrator/category/delete/?id=38&subcat=35 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:25 +0100] "GET /administrator/category/edit/?id=38&del=false HTTP/1.0" 302 7657 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:30 +0100] "GET /administrator/category/delete/?id=38&subcat=36 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:35 +0100] "GET /administrator/category/delete/?id=38&subcat=37 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:35 +0100] "GET /administrator/category/edit/?id=38&del=true HTTP/1.0" 302 6955 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:43 +0100] "GET /administrator/category/delete/?id=38&subcat=38 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:49 +0100] "GET /administrator/category/delete/?id=38&subcat=39 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:55 +0100] "GET /administrator/category/delete/?id=38&subcat=40 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:01:00 +0100] "GET /administrator/category/delete/?id=38&subcat=54 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
6
usw.
So hat er alle meine Subcats gelöscht + anderer Einträge, ich habe es gestern bemerkt und es via robots.txt gesperrt.
User-agent: ia_archiver
Disallow:/
Sowas ist seltsam, wie kann der Crawler auf einen mit passwort geschützen Bereich gelangen. Ich habe mir schon überlegt wegen meinen FireFox Addons "Alexa Sparky" und "Search Status". Vlt. hat es irgendwie die falschen Daten übertragen, was aber theoretisch nicht sein kann.
Nachtrag :
Es war mein Fehler, mein ACP-Login hat hinter einem Location Header einen Abbruch, da der Alexa Crawler den Header ignoriert, konnte es sich so beim ACP einloggen.
Mit freundlichen Grüßen
Sergej K.