ABAKUS

Servus Leute,

seit paar tagen scheine ich auf ner Domain den neuen Amazon spider gefangen zu haben

er meldet sich mit heritrix/1.12.1 +https://www.page-store.com und hat verschiedene Ips die immer auf den Inhaber amazon kommen z.b 72.44.50.67. der bot macht grausame fehler beim spidern.

hat jemand ähnliches bemerkt?

gruß

linux

Was ähnliches:
https://www.abakus-internet-marketing.d ... 44660.html

Ich habe mich noch mit dem AWS-Support auseinandergesetzt. Dort ist die Meinung, dass diese Aktivitäten völlig ok sind (es werden ja öffentliche Inhalte gespidert). Anders rum: aber eine IP-Liste von "guten Amazon-Spidern" haben die mir nicht rausgerückt.

Trotzdem: der seltsame Traffik ist verstummt... Immerhin

klar wenns einem egal ist wieviele seiten er spidern will ich denke der kommt bald an die 500.000 seiten grenze. aber mir solls recht sein, sollen sie nur spidern nur komisch ist daß sich manchmal der spider über eine voafone ip einloggt. so ala blockt du die amazon range hab ich noch was in der hinterhand

gruß linux