spider von amazon

Beitrag von **linux** » 13.09.2007, 09:09

Servus Leute,

seit paar tagen scheine ich auf ner Domain den neuen Amazon spider gefangen zu haben

er meldet sich mit heritrix/1.12.1 +https://www.page-store.com und hat verschiedene Ips die immer auf den Inhaber amazon kommen z.b 72.44.50.67. der bot macht grausame fehler beim spidern.

hat jemand ähnliches bemerkt?

gruß

linux

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Rem** » 13.09.2007, 09:20

Was ähnliches:
https://www.abakus-internet-marketing.d ... 44660.html

Ich habe mich noch mit dem AWS-Support auseinandergesetzt. Dort ist die Meinung, dass diese Aktivitäten völlig ok sind (es werden ja öffentliche Inhalte gespidert). Anders rum: aber eine IP-Liste von "guten Amazon-Spidern" haben die mir nicht rausgerückt.

Trotzdem: der seltsame Traffik ist verstummt... Immerhin

Beitrag von **linux** » 13.09.2007, 10:24

klar wenns einem egal ist wieviele seiten er spidern will ich denke der kommt bald an die 500.000 seiten grenze. aber mir solls recht sein, sollen sie nur spidern nur komisch ist daß sich manchmal der spider über eine voafone ip einloggt. so ala blockt du die amazon range hab ich noch was in der hinterhand

gruß linux