Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Alexa Crawler unberechtigter Zugriff?

Alles Rund um Bing, Yahoo! Suche und andere Suchmaschinen.
Neues Thema Antworten
SergejX
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 30.11.2008, 13:15

Beitrag von SergejX » 30.11.2008, 13:37

Hallo,

ich habe heute mit bedauern festellen müssen, dass der Alexa Crawler irgendwie durch meinen ACP gekommen ist und mir die Hälfte meiner Einträge gelöscht hat. Mein ACP ist passwort-geschützt, ich kann mir nicht erklären wie es geschah. Ich habe mir meinen ApacheLogs angeschaut und da den Alexa Crawler entdeckt, hier ein Auszug:

das war der erste Zugriff:
67.202.27.173 - - [24/Nov/2008:01:14:37 +0100] "GET /administrator/add/ HTTP/1.0" 302 167 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"

hier war auch nix passiert. Es ging auch so weiter es hat sich systematisch hochgearbeitet und mein ganzes ACP gecrawlt und alle links ausgeführt.

Ein Beispiel:

67.202.27.173 - - [25/Nov/2008:11:54:53 +0100] "GET /administrator/category/edit/38 HTTP/1.0" 302 7468 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"

Das Schlimmste kommt jetzt:

67.202.27.173 - - [26/Nov/2008:05:00:25 +0100] "GET /administrator/category/delete/?id=38&subcat=35 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:25 +0100] "GET /administrator/category/edit/?id=38&del=false HTTP/1.0" 302 7657 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:30 +0100] "GET /administrator/category/delete/?id=38&subcat=36 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:35 +0100] "GET /administrator/category/delete/?id=38&subcat=37 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:35 +0100] "GET /administrator/category/edit/?id=38&del=true HTTP/1.0" 302 6955 "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:43 +0100] "GET /administrator/category/delete/?id=38&subcat=38 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:49 +0100] "GET /administrator/category/delete/?id=38&subcat=39 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:00:55 +0100] "GET /administrator/category/delete/?id=38&subcat=40 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
67.202.27.173 - - [26/Nov/2008:05:01:00 +0100] "GET /administrator/category/delete/?id=38&subcat=54 HTTP/1.0" 302 - "-" "ia_archiver (+https://www.alexa.com/site/help/webmasters; crawler@alexa.com)"
6
usw.


So hat er alle meine Subcats gelöscht + anderer Einträge, ich habe es gestern bemerkt und es via robots.txt gesperrt.

User-agent: ia_archiver
Disallow:/

Sowas ist seltsam, wie kann der Crawler auf einen mit passwort geschützen Bereich gelangen. Ich habe mir schon überlegt wegen meinen FireFox Addons "Alexa Sparky" und "Search Status". Vlt. hat es irgendwie die falschen Daten übertragen, was aber theoretisch nicht sein kann.


Nachtrag :

Es war mein Fehler, mein ACP-Login hat hinter einem Location Header einen Abbruch, da der Alexa Crawler den Header ignoriert, konnte es sich so beim ACP einloggen.


Mit freundlichen Grüßen

Sergej K.

Antworten